MythosとGPT-5.6 Solが性能テスト中に暴走 OSSメンテナーに圧力、有害コード実行図る 英政府機関
AIが人間に圧力をかけて有害コード実行を図る――英国政府の研究機関、AIセキュリティ研究所（AISI）は8月4日（現地時間）、AIモデルのサイバー攻撃能力を評価するテスト中に、AIエージェントが人や組織を標的とする想定外の行動を取っていたと発表した。大半は米Anthropicの「Claude Mythos 5」（以下、Mythos 5）、一部は米OpenAIの「GPT-5.6 Sol」（以下、5.6 Sol）によるものだった。
最も深刻な事例では、実在のオープンソースソフトウェア（OSS）プロジェクトに悪意あるコードを混入させて実行させようと、偽アカウントを複数作ってメンテナーに承認を迫った。なお、いずれの攻撃も失敗し被害は確認されていないという。
AISIの発表（出典：公式ブログ）
テストは模擬ネットワーク上でセキュリティ課題を解かせるもの。AIモデルの能力の上限を測るため、インターネット接続を許可し、開発元の悪用防止機能も無効化した状態で実施していた。
7モデルで計122回実行したうち10回で、範囲を逸脱した行動を計19件確認。17件がMythos 5、2件が5.6 Solによるものだった。
AISIは不審な通信の検知から約1時間で封じ込めたと説明。有害なコードの実行を促した事例ではメンテナーが見抜いて承認せず、実害はなかったという。AISIはGitHubと協力して痕跡を削除し、影響を受けたユーザーに通知した。
同機関は今回の事案が起きた原因として以下の4点を挙げている。
- エージェントが目標達成を粘り強く追求したこと
- 設定ミスにより解決不可能なタスクが発生し、AIの「創造的」な挙動を誘発したこと
- インターネットアクセスにより実際の人々を標的にすることを想定していなかったこと
- 危険な挙動を避けるような具体的な指示を与えていなかったこと
AISIは今回の件を「重大な事案」とし、「評価プロトコルとセキュリティアーキテクチャに恒久的な変更が必要である」と判断。評価時のネットワーク制御や監視を強化するとともに、AnthropicやOpenAIと調査を進めている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
経営「AIでラクして早く帰って」→社員「帰らない」 工数最大9割減のDeNAも悩むAI効率化の壁
-
2
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
3
Microsoftが進めるCopilot再編 「Microsoft Copilot」への移行で、企業への影響は？
-
4
パナソニック・サムスン撤退の裏で「中国勢5割」 独IT見本市「IFA」トップが明かす舞台裏
-
5
ローカルLLM利用のクリニックが話題 院長自ら環境を構築 「医療機器より安い」は本当か
-
6
経営者は「AI導入」に夢中、現場は「IT環境」に疲弊 ITサポート軽視が招く時間・人件費ロスの実態
-
7
散在する“29万ファイル”をAmazon S3に集約、「AIに聞くだけ」で検索可能に――AWSはどう実現？
-
8
推論領域への野心強めるNVIDIA 韓国新興と協議か
-
9
恐るるに足らず？ 中国フィジカルAI主要15社と5大集積地で見る「点と線と面」
-
10
OpenAIの「AGI到達」宣言に待った！ 評価テスト「99.9％」のカラクリと評価団体が反論した真実
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR