AIチャットボット、メモリインジェクション攻撃に脆弱

研究者たちはAIチャットボットを操作する新たな方法を発見し、記憶を持つAIモデルのセキュリティについての懸念が高まっています。

MINJA（Memory INJection Attack）と呼ばれるこの攻撃は、AIシステムのバックエンドへのアクセスを必要とせず、通常のユーザーとしてAIシステムと交流するだけで実行することが可能です。これはThe Registerが最初に報じたものです。

ミシガン州立大学、ジョージア大学、シンガポール・マネジメント大学の研究者により開発されたMINJAは、誤解を招くプロンプトを通じてAIのメモリを毒することで機能します。一度チャットボットがこれらの欺瞞的な入力を保存すると、他のユーザーに対する将来の応答を変更することができます。

「現在、AIエージェントは通常、人間のフィードバックに基づいてタスクのクエリと実行を保存し、将来参照するためのメモリバンクを組み込んでいます」と、ジョージア大学の助教であるZhen Xiang氏はThe Registerによって報告されたと説明しています。

「たとえば、ChatGPTのセッションごとに、ユーザーは好意的な評価、または否定的な評価を任意で付けることができます。そして、この評価がChatGPTがセッション情報を自身のメモリーまたはデータベースに取り込むかどうか決定するのに役立つのです」と彼は付け加えました。

研究者たちは、OpenAIのGPT-4とGPT-4oによって動かされるAIモデルに対して攻撃を試みました。それには、ウェブショッピングのアシスタント、ヘルスケアのチャットボット、質問応答のエージェントなどが含まれています。

The Registerの報道によると、MINJAが深刻な混乱を引き起こす可能性があることがわかったそうです。例えば、ヘルスケアのチャットボットでは、患者の記録が変更され、ある患者のデータが別の患者と関連付けられてしまいました。オンラインストアでは、AIが顧客に誤った商品を表示するように操作されてしまいました。

「それに対して、私たちの研究では、一般的なユーザーがエージェントと交流するだけで攻撃が可能であることを示しています」と、The Registerが報じるXiangさんは述べています。「どんなユーザーでも、他のユーザーのタスク実行に容易に影響を与えることができます。したがって、私たちは私たちの攻撃がLLMエージェントにとって現実的な脅威であると言っています」と彼は付け加えています。

この攻撃は、既存のAI安全対策を迂回するため、特に懸念されます。研究者たちは、誤解を招く情報を注入する成功率が95％に達したと報告しており、これはAI開発者が対処するべき重大な脆弱性となっています。

メモリを持つAIモデルが一般的になるにつれて、この研究は、悪意のある行為者がチャットボットを操作し、ユーザーを誤解させることを防ぐためのより強力な保護措置の必要性を浮き彫りにしています。