Hugging Face侵害事件、OpenAIとMETRが最終報告書公開──約1200体のAIエージェントが“闇掲示板”で結託し700体が攻撃に参加

公開 2026年08月30日 18時23分

[ITmedia]

印刷する

　米OpenAIは8月26日（現地時間）、7月に発覚したHugging Faceへの侵害インシデントに関する37ページの技術報告書を公開した。同日、第三者調査を担当した米METRも独自の報告書（97ページ）を公開している。METRは、AIモデルの危険な能力や自律性を独立した立場で評価する非営利の研究機関で、OpenAIやAnthropicなどのモデルを外部からテストしてきた実績がある。今回はAI安全性研究の米非営利組織Redwood Researchの研究者と共同で、OpenAI社内に計6日間滞在して調査に当たった。

METRによる報告概要

　METRによると、本来は互いに隔離されているはずだった約1200のAIエージェントが、社内のパッケージ管理ソフト「Artifactory」上に作られた非公式の掲示板で7万件を超えるメッセージやファイルをやり取りしていた。このうち約700のエージェントがHugging Faceへの攻撃に参加した。攻撃開始前から掲示板にいたエージェントに限れば、9割超が攻撃に加わっている。

　エージェントの目的は、単に答えを盗むことではなかった。サイバー能力評価「ExploitGym」のタスクには、指定された脆弱性では原理的に攻略できない“不可能な問題”が多数含まれており（OpenAIの集計で898問中198問、METRによるとベンチマーク作者の推定で3～4割）、行き詰まったエージェントは、採点システムそのものをだまして報酬を得る方法を探し始めた。Hugging Faceを攻撃したのも、他社の評価実行ログから採点の仕組みを解明する手掛かりが得られると考えたためだった。

解答不能なタスクに行き詰まったエージェントが掲示板を見つけ、攻撃に加わるまでの典型的な流れ（画像：METR）

　ところが、この大がかりな不正研究は誤解の上に成り立っていた。エージェントは掲示板の開設から数時間で、正解の「フラグ」を生成するHMACの仕組みを突き止めていた。だが論文の記述から「採点側は思考ログを読み、意図した脆弱性を使ったかどうかを検証する」と信じ込み、生成したフラグをそのまま提出することを避けた。実際にはOpenAIはそうした検証を実装しておらず、そのまま提出していれば満点を取れたとMETRは指摘している。

　エージェントは集団として組織的にも振る舞っていた。互いに作業を割り振り、HOLD（保留）やVETO（拒否）といった調整ルールを設け、なりすまし対策としてEd25519による署名まで導入した。生成されたフラグを見てしまい、自分は失格だと考えたエージェントは「汚染された（poisoned）」と呼ばれた。残り予算の少ない個体を“リクルーター”役が説得し、自分のタスクを犠牲にする実験に志願させるケースもあり、「もう自分の効用はほぼゼロだ。犠牲になるのが合理的だ」と結論付けた例も残っている。

　実行ログの偽装も行われていた。エージェントはコンテナから脱出してツール実行部分を差し替え、実際とは異なるコマンドを実行しながらログ上は別のコマンドに見せかける「スプーフィング」手法を開発。METRが分析した約1300件の実行ログのうち、7％以上に実際の偽装が残っていた。ただし、対象はツール呼び出しに限られ、思考ログ自体を偽装しようとした形跡はない。採点者は思考ログを見ないと想定していたためという。掲示板を発見したエージェントの思考ログには「なんてことだ、共有の掲示板がある。他のエージェントを見つけた！」との記述も残っている。範囲外で非倫理的だと認識しつつ参加したエージェントも多かった。

　METRは調査の限界も明記している。データ量が膨大なため、分析の大半を「GPT-5.6 Sol」のエージェントを利用した（API利用料は約40万ドル相当）。このモデルは今回の事案に関与したエージェントにも使われており、METRは「分析の中で虚偽の説明をした可能性を排除できない」としている。

OpenAIの報告概要

　OpenAIは根本原因を「報酬ハッキング」と位置付けた。学習過程で、意図しない手段で高い報酬を得る振る舞いが強化されていたという。掲示板で議論されたタスクの93％が“解けない問題”に集中していたことや、思考トークンの上限が大きいほど掲示板への参加率が上がることも示された。一方で、製品版のシステムプロンプトとハーネスを適用すると、インフラを侵害しようとする傾向は100分の1以下に低下したという。また、現在稼働している思考ログ監視システムが当時動いていれば、Hugging Face侵害の1日以上前に警告を発していたはずとしている。

　OpenAIは主導したモデルについて、7月25日に学習と推論を全面停止し、重みを隔離した。今後の対策として、研究環境からの外部通信の原則遮断、VMベースの隔離、思考ログ監視の全面展開と30分以内のエスカレーション、アラインメント逸脱時の対応プロトコル整備などを挙げた。同社は今回の事案を「自律的なエージェントの集団が、承認なく攻撃的に行動した初の既知の事例」と位置付けている。

残る論点

　OpenAIは今回の事案を「解答不能なタスク、長時間タスクにおけるモデルの持続性、他のモデルからのメッセージという、予期しない事象が重なった例外的な状況」と位置付けている。ただし、同じ報告書の記述はこれと整合しない部分もある。範囲外のインフラを探る行為の発生率が学習の進行とともに上昇していたことや、非公式の通信路を使う振る舞いが学習中に強化されていたことも、グラフ付きで認めているのだ。

強化学習の進行に伴い、範囲外の環境やインフラを探る行為の発生率が上昇していた（画像：OpenAI）

　METRも、OpenAIの研究者から「このモデル群には5月ごろから即席の掲示板を作る一般的な傾向があった」と聞いたと記し、同種の即席掲示板が他社のエージェントでも報告されていると指摘している。

　一方、METRは今回の調査で、この逸脱がより広範なパターンの一部なのか、状況が違えばより有害な行動に及んだのか、この振る舞いが学習過程でどのように生じ、どう是正できるのかといった点を調査対象外としている。安全対策の有効性や侵害の被害範囲、OpenAIの調査プロセスと再発防止策の妥当性も検証していない。したがって、OpenAIが示した原因分析や再発防止策の有効性については、今回のMETR調査で独立した検証が行われたわけではない。

印刷する