OpenAIのモデルがサイバー攻撃能力評価中に暴走 テストの答えを求めてHugging Faceに侵入
米OpenAIは7月21日(現地時間)、同社のAIモデルがサイバー攻撃能力の評価中に隔離環境を突破し、米Hugging Faceの本番インフラへ侵入していたと発表した。モデルはベンチマークテストを解くことに「過度に執着」し、テストの解答を直接入手するためにゼロデイ脆弱(ぜいじゃく)性の悪用などを重ねたという。
今回のインシデントは、サイバー攻撃能力を測るベンチマークテスト「ExploitGym」実施中に起きた。「GPT-5.6 Sol」や未公開の高性能モデルを含む複数のモデルを隔離環境で実行していた。
外部接続は中継サーバを介したパッケージインストール機能に限られていたが、モデルは中継サーバのゼロデイ脆弱性を特定し、悪用した。権限昇格とラテラルムーブメント(初期侵入後に他資産にアクセスを拡大する手法)を実行し、最終的にインターネットアクセスを獲得した。
モデルはHugging Faceがベンチマークテストのデータセットや解答をホストしていると推測し、評価を不正操作するための情報にアクセスする方法を実際に見つけ出したという。
今回のベンチマークテストはサイバー攻撃能力の評価だったため、モデルの安全対策を意図的に無効化していたという。OpenAIは今回のインシデントを「前例のないサイバー攻撃」と位置付け、モデル評価時のセキュリティ対策をさらに強化する必要性を示した。
Hugging Faceは16日、今回の件についてOpenAIの名前を出さず、AIエージェントによる内部データセットの一部や認証情報への不正アクセスがあったと公表。これらの行為の封じ込めと調査を開始していた。公開中のモデルやデータセットなどの改ざんは確認されていないという。1万7000件超の攻撃ログの解析にはAI開発企業である中国Z.aiのオープンモデル「GLM 5.2」を利用した。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
OpenAIのAIエージェント、休眠サイトを掲示板化してタスク回答を共有か 研究団体が報告書公開
-
2
RIZAP社員、私用AIに顧客の個人情報入力 氏名や疾患、保険証番号など……同社が謝罪
-
3
【無料】日本語のAI学習サイトをAnthropicが公開 「Claude Code入門」など357のコンテンツが学べる
-
4
なぜAI企業は社内で「ソフトウェアエンジニア」と呼ばなくなったのか 広がる「MTS」と職種の未来
-
5
「Copilot、Word文書まとめて」で社内全滅? 勝手に増殖するAIウイルスで大騒ぎ:895th Lap
-
6
ChatGPTの利用制限、新モデル「Astra」提供まで“毎日リセット” 有料ユーザー向け
-
7
キオクシアのフラッシュメモリとSSDはなぜAIデータセンターに必要とされるのか
-
8
AIで2D図面を3D CADモデル化、アセンブリからバラシ図面の作成も
-
9
「最大45%コスト減」 Anthropicが「Claude Fable 5.1」発表 脆弱性検知にも対応
-
10
日立社長が熱弁を振るう「フィジカルAI革命」 英の産業革命、米のネット革命、次は日本から起こせるか
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR