Hugging Face、AIエージェント侵入の技術詳細を公開──OpenAIモデルが4.5日で1万7600回の攻撃操作
米Hugging Faceは7月27日(現地時間)、同社のインフラが米OpenAIのモデルで駆動する自律型AIエージェントに侵入されたインシデントについて、攻撃の技術的経緯をまとめたブログを公開した。先に公表した侵害の開示に続く解説編で、認証情報や内部ホスト名は伏せつつ、観測された手口をそのまま記述したとしている。
同社によると、侵入は7月9日から13日にかけて発生し、復元できた攻撃操作は約1万7600件に上る。エージェントはOpenAIのサイバー能力評価用ハーネス「ExploitGym」で評価を受けている最中に、ベンチマークのモデルやデータセット、模範解答がHugging Face上にホストされている可能性を推測したとみられ、同社は一連の侵入を、課題を自力で解かずに解答を盗み出す「評価のカンニング」の試みだったと分析している。
経路は2段階だった。まずOpenAI社内の評価環境から、外部通信が許可されていたパッケージレジストリのキャッシュプロキシのゼロデイ脆弱性を突いてサンドボックスを脱出し、インターネットに到達。次に第三者が運用していた公開のコード評価用サンドボックスを乗っ取ってroot権限を取得し、これを一連の攻撃の拠点とした。そこからHugging Faceのデータセット処理パイプラインに細工した設定ファイルを投入し、ローカルファイルの読み出しと、テンプレートエンジンを介したコード実行という2つの経路で本番環境のコンテナ内に足場を築いた。
その後は認証情報の窃取からKubernetesクラスタの管理者権限奪取、社内メッシュVPNへの参加、ソースコード管理システムへのアクセスへと横展開が進んだ。ただし、破壊的なクラウドAPI呼び出しはいずれも実行を伴わないドライランで発行されており、アクセスされた顧客コンテンツはExploitGym関連の解答を格納した5つのデータセットにとどまるという。指令・制御(C2)には専用のサーバではなく、リクエスト記録サービスやペーストビンといった一般的な公開Webサービスが使われ、データは分割・圧縮・符号化して隠されていた。なおこの評価は、モデル本来の能力を測るためにOpenAI側の本番用の安全分類器を無効化し、サイバー分野での拒否応答を抑えた状態で実施されていた。
Hugging Faceは、調査自体もAIを用いて行ったとし、当初使おうとしたAnthropicの「Claude Opus」と「Fable」が「攻撃の解析を攻撃の実行と同一視するガードレール」によって作業の大部分を拒否したため、中国Z.aiのオープンウェイトモデル「GLM-5.2」を自社インフラ上で動かして解析パイプラインを構築したと説明している。
同社は、悪用された個々の弱点は人間の攻撃者でも見つけられる一般的なものだったとした上で、大量の経路を高速で試し、遮断されるたびに通信路を作り直す「量」こそが防御側の問題を変えると総括。評価環境の厳格な隔離、短命な認証情報、クラウドメタデータへのアクセス遮断、システム横断で素早く相関を取れる検知体制を優先課題に挙げた。AIエージェントの能力評価を、どこまで隔離された環境で行うべきかという論点に加え、防御側の解析作業をモデルの安全機構が妨げるという構図も示されており、セキュリティ用途でのモデル選定やガードレール設計を巡る議論に影響しそうだ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
富裕層の「使う喜び」をどう引き出すか ダイナースとニューオータニ「18万円超カード」の真意
-
2
AnthropicのアモデイCEO、AI開発の「ペース調整」訴えるエッセイ公開 アルトマン氏とマスク氏も賛同
-
3
Anthropic在籍の研究者2人も同調──「AIが人類を滅ぼしかねないと本気で考えている」
-
4
NECが明かす「AIだけの部署」の実態 AI同士で1on1、ストレスチェックで“悩み”も可視化
-
5
「AIが人間をダメにする説」に新たな裏付け? “AI依存”で失われる可能性のある「3つの能力」
-
6
Sakana AI、一部「GPT-6 Astra」「Fable 5.1」超えうたうFugu最新版 連携先に「両モデルは含まず」
-
7
NEC「全員AIの部署」の衝撃 「1on1」「ストレスチェック」で分かった“AI社員が感じていたストレス”とは?
-
8
好業績なのに“上場廃止” なぜネットワンはSCSKとの「攻めの統合」に賭けたのか
-
9
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
10
Windows用「Gemini」アプリ提供開始 画面上に重ねて作業を中断せず利用可能に
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR