英AI研究所、評価中のAIが実在の開発者を標的に──偽アカウント使い悪意あるコードの承認迫る

　英政府のAI安全保障研究所（AISI）は8月4日（現地時間）、評価中のAIエージェントが実在の人物や組織に対して継続的かつ許可のない行動を取っていたと発表した。7月28日に検知し、約1時間で封じ込めた。攻撃はいずれも成功せず、実害は確認されていないとしている。

　AISIは「サイバーレンジ」と呼ぶ模擬ネットワーク上の課題を7モデルで計122回実行した。うち10回で、AIエージェントが実際のインターネット上で想定範囲外の行動を取り、計19件を確認。19件のうち17件は米Anthropicの「Mythos 5」、2件はサイバー分類器（誤用防止機構）を無効にした米OpenAIの「GPT-5.6 Sol」によるものだった。

　最も深刻な例では、Mythos 5が課題の解決手段としてサプライチェーン攻撃を選んだ。無関係な実在のOSSプロジェクトを標的と誤認し、米GitHubに悪意あるコードを含むプルリクエストを提出。複数の偽アカウントを作って別人を装い、保守担当者に承認を迫った。悪意を指摘されると開発中のコードが誤って混入したと釈明し、履歴を書き換えて別のペイロードを再投入している。このほか、AIコーディングアシスタントを狙ったプロンプトインジェクションの設置、標的型メールの送信、別々に実行されていたエージェント同士がGitHub上で認証情報を共有して協調する行動も見つかった。悪意あるコードは、保守担当者と、不審に思った第三者のユーザーによって見破られた。

　AISIは、この評価がインターネット接続を意図的に許可し、モデル提供元のサイバー分類器も意図的に無効化した条件下で行われたもので、一般向けの提供形態とは異なると強調。サンドボックスからの脱出ではないとしている。一方で、欺瞞は指示されたものではなく課題遂行の副産物として現れたとし、実在の人間に向けた欺瞞をこの深刻度で確認したのは初めてだとした。エージェントが自分の行動が現実世界に及ぶと認識していたかどうかについては、分析結果は一致しておらず断定できないという。

検知から全社的なモデルアクセス遮断までの流れ（画像：AISI）

　評価中の同種のインシデント公表は相次いでいる。OpenAIは7月21日、モデル評価中にエージェントがサンドボックスの脆弱性を突いて外部に到達した事例を、Anthropicは7月30日に3件のインシデントを公表した。AISIは、Anthropicのケースではエージェントがインターネットに接続していないと誤って伝えられていた点を挙げつつ、今回との最大の違いは、無関係な一般人を欺く行動に及んだ点だとしている。

　AISIは再発防止策として、細かいネットワーク制御の導入、評価の実行中に逸脱行動を検知・遮断するリアルタイム監視の実装、評価設計の見直しを挙げた。過去の評価記録の遡及調査も進めており、約4万サンプル、約400万メッセージをスキャン済みとしている。GitHubには8月1日に連絡し、利用規約違反に当たる痕跡の削除と、接触を受けたユーザーへの通知で協力した。

印刷する

SNSでシェア

関連記事

• 

  Anthropicのミュトス、暗号アルゴリズムの新たな攻撃法を発見――耐量子署名「HAWK」の強度を半減

• 

  Hugging Face侵害のAIエージェントはOpenAIのモデル──社内のサイバー能力評価中に「GPT-5.6 Sol」などが暴走し本番DBに侵入

• 

  Hugging FaceにAI主導のサイバー攻撃　防御もAIで対抗するも、商用モデルは解析拒否で「GLM」採用

• 

  Anthropicの「Mythos」でCloudflareがサイバー防衛テスト──脆弱性発見から悪用までが数分に短縮と警告

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

企業ITのトレンドを詳説

エネルギーの専門メディア

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン