MythosとGPT-5.6 Solが性能テスト中に暴走　OSSメンテナーに圧力、有害コード実行図る　英政府機関

　AIが人間に圧力をかけて有害コード実行を図る――英国政府の研究機関、AIセキュリティ研究所（AISI）は8月4日（現地時間）、AIモデルのサイバー攻撃能力を評価するテスト中に、AIエージェントが人や組織を標的とする想定外の行動を取っていたと発表した。大半は米Anthropicの「Claude Mythos 5」（以下、Mythos 5）、一部は米OpenAIの「GPT-5.6 Sol」（以下、5.6 Sol）によるものだった。

　最も深刻な事例では、実在のオープンソースソフトウェア（OSS）プロジェクトに悪意あるコードを混入させて実行させようと、偽アカウントを複数作ってメンテナーに承認を迫った。なお、いずれの攻撃も失敗し被害は確認されていないという。

AISIの発表（出典：公式ブログ）

　テストは模擬ネットワーク上でセキュリティ課題を解かせるもの。AIモデルの能力の上限を測るため、インターネット接続を許可し、開発元の悪用防止機能も無効化した状態で実施していた。

　7モデルで計122回実行したうち10回で、範囲を逸脱した行動を計19件確認。17件がMythos 5、2件が5.6 Solによるものだった。

　AISIは不審な通信の検知から約1時間で封じ込めたと説明。有害なコードの実行を促した事例ではメンテナーが見抜いて承認せず、実害はなかったという。AISIはGitHubと協力して痕跡を削除し、影響を受けたユーザーに通知した。

　同機関は今回の事案が起きた原因として以下の4点を挙げている。

• エージェントが目標達成を粘り強く追求したこと
• 設定ミスにより解決不可能なタスクが発生し、AIの「創造的」な挙動を誘発したこと
• インターネットアクセスにより実際の人々を標的にすることを想定していなかったこと
• 危険な挙動を避けるような具体的な指示を与えていなかったこと

　AISIは今回の件を「重大な事案」とし、「評価プロトコルとセキュリティアーキテクチャに恒久的な変更が必要である」と判断。評価時のネットワーク制御や監視を強化するとともに、AnthropicやOpenAIと調査を進めている。

印刷する

SNSでシェア

関連記事

• 

  Claudeが評価環境から実在企業に不正アクセス――Anthropic、3件のインシデントを公表

• 

  OpenAIのモデルがサイバー攻撃能力評価中に暴走　テストの答えを求めてHugging Faceに侵入

• https://www.itmedia.co.jp/aiplus/articles/2604/08/news092.html

こんなメディアも見られています

ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

エネルギーの専門メディア

スマートジャパン

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン