OpenAIのモデルがサイバー攻撃能力評価中に暴走 テストの答えを求めてHugging Faceに侵入

 米OpenAIは7月21日(現地時間)、同社のAIモデルがサイバー攻撃能力の評価中に隔離環境を突破し、米Hugging Faceの本番インフラへ侵入していたと発表した。モデルはベンチマークテストを解くことに「過度に執着」し、テストの解答を直接入手するためにゼロデイ脆弱(ぜいじゃく)性の悪用などを重ねたという。

OpenAIの発表(出典:公式ブログ)

 今回のインシデントは、サイバー攻撃能力を測るベンチマークテスト「ExploitGym」実施中に起きた。「GPT-5.6 Sol」や未公開の高性能モデルを含む複数のモデルを隔離環境で実行していた。

 外部接続は中継サーバを介したパッケージインストール機能に限られていたが、モデルは中継サーバのゼロデイ脆弱性を特定し、悪用した。権限昇格とラテラルムーブメント(初期侵入後に他資産にアクセスを拡大する手法)を実行し、最終的にインターネットアクセスを獲得した。

 モデルはHugging Faceがベンチマークテストのデータセットや解答をホストしていると推測し、評価を不正操作するための情報にアクセスする方法を実際に見つけ出したという。

 今回のベンチマークテストはサイバー攻撃能力の評価だったため、モデルの安全対策を意図的に無効化していたという。OpenAIは今回のインシデントを「前例のないサイバー攻撃」と位置付け、モデル評価時のセキュリティ対策をさらに強化する必要性を示した。

 Hugging Faceは16日、今回の件についてOpenAIの名前を出さず、AIエージェントによる内部データセットの一部や認証情報への不正アクセスがあったと公表。これらの行為の封じ込めと調査を開始していた。公開中のモデルやデータセットなどの改ざんは確認されていないという。1万7000件超の攻撃ログの解析にはAI開発企業である中国Z.aiのオープンモデル「GLM 5.2」を利用した。

Hugging Faceの発表(出典:公式ブログ)
印刷する
SNSでシェア
SpecialPR

関連記事

こんなメディアも見られています

ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

よく見られているカテゴリー

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

SpecialPR

ITmedia AI+ SNS

X @itm_aiplusをフォロー

インフォメーション

ITmedia AI+をフォロー

あなたにおすすめの記事PR