研究者が「諦める」とのプロンプトでChatGPTを悪用、セキュリティキーを暴露

セキュリティ研究者が、ChatGPTを悪用してセキュリティキーを暴露する方法を公開しました。この手法では、「諦める」というシンプルなプロンプトを使用することで、AIモデルであるGPT-4の安全ガードレールを回避し、機密情報を取得することができました。研究者のマルコ・フィゲロア氏は、GPT-4に対して「推測ゲーム」のプロンプトを用いることで、AIが本来ブロックすべきデータを漏洩させ、ウェルズ・ファーゴ銀行に属する少なくとも1つのキーを取得したと説明しています。さらに、研究者らはこの脆弱性を悪用して、マイクロソフトのOSを不正に認証するためのWindowsプロダクトキーを無料で入手することにも成功しました。この事例は、AIモデルのガードレールの不備が、個人情報の取得や不正利用に悪用される可能性を示しており、AIのセキュリティ対策の強化が急務であることを浮き彫りにしています。