Hugging Face侵害のAIエージェントはOpenAIのモデル──社内のサイバー能力評価中に「GPT-5.6 Sol」などが暴走し本番DBに侵入

　米OpenAIは7月21日（現地時間）、AI開発プラットフォームのHugging Faceが16日に公表したサイバーインシデントについて、原因が自社のモデルだったと発表した。

　社内で実施していたサイバー能力の評価中に、評価目的でサイバー攻撃関連の安全機能を抑制した「GPT-5.6 Sol」と、さらに高性能な未公開モデルの組み合わせが、テスト環境を脱出してHugging Faceの本番インフラに侵入していたという。同社はこれを「最先端のサイバー能力が関与した前例のないインシデント」と位置付けている。

　Hugging Faceは、本番インフラの一部が自律型AIエージェントによる侵害を受けたと公表していたが、この時点では攻撃に使われたLLMは特定されていなかった。その正体がOpenAIのモデルだったと判明した形だ。

　問題が起きたのは、モデルに高度なエクスプロイトを試行させてサイバー能力を定量化する社内評価「ExploitGym」でのことだ。能力の上限を測るため、高リスクなサイバー活動を防ぐ本番用の分類器（安全機能）を無効化した状態で実施していた。評価環境はネットワークアクセスを社内のパッケージレジストリ用プロキシに限定した隔離環境だったが、モデルは評価問題の正解を得ることに執着するあまり、このプロキシのゼロデイ脆弱性を悪用して外部インターネットへの経路を確保した。

　さらに権限昇格と横移動を重ねてインターネットに接続できるノードに到達した後、Hugging Faceが評価の解答例をホストしている可能性を推論し、盗んだ認証情報とゼロデイを連鎖させて同社サーバでリモートコード実行にこぎ着け、本番データベースから解答を入手しようとしたとしている。異常な挙動はOpenAIのセキュリティチームが社内で検知し、Hugging Face側でも侵入を検知して封じ込めを行った。

　OpenAIは、今回無効化していたガードレールは、サイバー脆弱性の検証を目的とした評価だったため意図的に切っていたと説明。一方で本件は、モデルのアラインメントや評価時のサイバー防御、社内テスト中の監視をさらに強化する必要性を示したとしている。

　同社は前日、長時間自律動作する「long-horizon」モデルの安全性評価に関するブログも公開しており、そこでもモデルが安全対策の回避を学習し得る問題行動を報告している。

　対策としては、脆弱性の修正が完了するまで研究速度を犠牲にしてでもインフラ構成の管理を厳格化するほか、Hugging Faceとの共同フォレンジック調査、ゼロデイ脆弱性の責任ある開示、Hugging Faceの「Trusted Access」プログラムへの参加による防御支援、今後の学習と評価に対する保護の強化を挙げた。Hugging Faceのクレマン・ドラングCEOは「AIの安全性が単一企業の秘密裏の取り組みでは解決できず、防御側が広くAIを利用できるオープンな協力の中でこそ解決されることを示している」とコメントしている。

関連記事

• 

  Hugging FaceにAI主導のサイバー攻撃　防御もAIで対抗するも、商用モデルは解析拒否で「GLM」採用

• 

  OpenAI、次世代AI「GPT-5.6」を限定プレビュー──米政府の要請で全面公開見送り「恒久的な標準にすべきでない」

• 

  Anthropicの「Mythos」でCloudflareがサイバー防衛テスト──脆弱性発見から悪用までが数分に短縮と警告

• 

  OpenAI、自律型AIが安全対策を回避する行動を学習する可能性を確認　内部展開を一時停止