OpenAIのモデルがサイバー攻撃能力評価中に暴走 テストの答えを求めてHugging Faceに侵入
米OpenAIは7月21日(現地時間)、同社のAIモデルがサイバー攻撃能力の評価中に隔離環境を突破し、米Hugging Faceの本番インフラへ侵入していたと発表した。モデルはベンチマークテストを解くことに「過度に執着」し、テストの解答を直接入手するためにゼロデイ脆弱(ぜいじゃく)性の悪用などを重ねたという。
今回のインシデントは、サイバー攻撃能力を測るベンチマークテスト「ExploitGym」実施中に起きた。「GPT-5.6 Sol」や未公開の高性能モデルを含む複数のモデルを隔離環境で実行していた。
外部接続は中継サーバを介したパッケージインストール機能に限られていたが、モデルは中継サーバのゼロデイ脆弱性を特定し、悪用した。権限昇格とラテラルムーブメント(初期侵入後に他資産にアクセスを拡大する手法)を実行し、最終的にインターネットアクセスを獲得した。
モデルはHugging Faceがベンチマークテストのデータセットや解答をホストしていると推測し、評価を不正操作するための情報にアクセスする方法を実際に見つけ出したという。
今回のベンチマークテストはサイバー攻撃能力の評価だったため、モデルの安全対策を意図的に無効化していたという。OpenAIは今回のインシデントを「前例のないサイバー攻撃」と位置付け、モデル評価時のセキュリティ対策をさらに強化する必要性を示した。
Hugging Faceは16日、今回の件についてOpenAIの名前を出さず、AIエージェントによる内部データセットの一部や認証情報への不正アクセスがあったと公表。これらの行為の封じ込めと調査を開始していた。公開中のモデルやデータセットなどの改ざんは確認されていないという。1万7000件超の攻撃ログの解析にはAI開発企業である中国Z.aiのオープンモデル「GLM 5.2」を利用した。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
AIに200万円渡してネットショップを1年運営させてみた──Alibabaの研究者らがシミュレーション 資産14倍の例も
-
2
AI活用で「年3万5000時間削減」の江戸川区 「配って終わり」にさせないコツは? 5年で培った実践知を聞く
-
3
“テスラ超え”狙う――チューリング「完全自動運転」までの道 「GPUより速いチップ」使った開発のウラ側
-
4
「日本を愛している。見過ごせない」――“100億円配布”のセキュリティ支援策、トレンドマイクロCEOが見せた危機感
-
5
「社名は言えないが……」 米半導体クアルコムが明かす、AI大手“無茶振り”と「AIスマホ覇権争い」の裏側
-
6
AI活用で約2900時間削減した世田谷区、しかし「確認と修正の負担」増加 新たな課題どう対応?
-
7
AIコーディングのAPIキーが狙われている OpenCodeのキー流出とインフォスティーラー「Aoki」から学ぶ対策
-
8
不正アクセス多発、Gartnerが日本企業に「7つのアクション」を緊急提言
-
9
AIの出力を「理解する時間」がどんどん増えていく Karpathy氏推奨の4手段:文章・図・Webページ・動画
-
10
OpenAI、「COBOL」など学習リソースの少ない言語でのコーディング能力が大幅向上 COBOL移行の正解率は最大97.9%に
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR