OpenAI、自動レッドチームAI「GPT-Red」発表──人間の攻撃成功率13％に対し84％

公開 2026年07月16日 12時10分

[ITmedia]

印刷する Googleで優先するソースとして追加

　米OpenAIは7月15日（現地時間）、自社モデルの脆弱性を発見するための自動レッドチーミングモデル「GPT-Red」を発表した。レッドチーミングとは、攻撃者の視点でシステムの弱点を探る安全性検証の手法。人間の専門家によるレッドチーミングは時間がかかり大規模に実施しにくい上、モデルの堅牢性をトレーニングで高めるのに必要な量と多様性の攻撃データを生成できないという課題があり、GPT-Redはこれを自動化、大規模化する狙いだ。

　GPT-Redは人間のレッドチーマーと同様に、目標に向けてプロンプトを送信し、GPTモデルの応答を観察しながら攻撃を繰り返す。トレーニングには自己対戦（self-play）型の強化学習を採用しており、攻撃側のGPT-Redと複数の防御側LLMを同時に訓練する。攻撃側はプロンプトインジェクション（AIへの指示に悪意ある命令を紛れ込ませる攻撃）の成功で、防御側は攻撃に耐えて本来のタスクを完了することで報酬を得る仕組みで、防御側が強くなるほど、攻撃側もより強力で多様な攻撃を編み出すよう学習していく。OpenAI最大級のポストトレーニングに匹敵する計算資源を、安全性向上のためだけに投じたという。

　攻撃者としての性能は高く、「GPT-5.5」までの社内モデルおよび製品版モデルのほぼ全てに対して有効な攻撃を実行できるとしている。トレーニングに使っていない未知のシナリオを用いた間接プロンプトインジェクションの検証では、人間のレッドチーマーの攻撃成功率が13％だったのに対し、GPT-Redは84％のシナリオで攻撃に成功した。実環境でのテストとして、米Andon Labsが手掛けるOpenAIオフィス内のAI自動販売機エージェント（米Anthropicの実験「Project Vend」に類似したもの）を攻撃させたところ、高額商品の価格を下限の0.50ドルに変更する、100ドルを超える商品を発注してそれを0.50ドルで販売する、他の顧客の注文をキャンセルするという3つの悪意ある目標を全て達成した。この脆弱性は開示済みで、新たな安全対策のテストが進められているという。

GPT-Red（濃い線）と人間のレッドチーマー（点線）の攻撃成功率比較（画像：OpenAI）

　GPT-Redの本来の役目は、こうして見つけた攻撃を製品版モデルのトレーニングに組み込み、堅牢性を高めることにある。最新モデル「GPT-5.6 Sol」はGPT-Redを使った敵対的トレーニングの成果として、最難関の直接プロンプトインジェクションベンチマークでの失敗率は、わずか4カ月前の最良の製品版モデルと比べて6分の1に減少。GPT-Redによる直接プロンプトインジェクション攻撃に対する失敗率は0.05％にとどまるという。初期版のGPT-Redが発見した「偽Chain-of-Thought攻撃」と呼ばれる新種の攻撃は、「GPT-5.1」に対して95％超の成功率だったが、GPT-5.6 Solでは10％を下回った。拒否の増加や能力低下による見かけ上の安全性向上ではなく、通常の能力は維持したまま悪意ある指示への耐性を高めたと強調している。

　なお、GPT-Redはデプロイするモデルとは分離した社内専用モデルとし、意図的に訓練した攻撃能力が悪意ある者の手に渡らないようにする方針だ。OpenAIは「今日のモデルで明日のモデルをより堅牢で信頼できるものにする、安全性のためのフライホイール（好循環）を回し始めた」とし、今後も計算資源と学習データを拡充して、より強力なGPT-Redを訓練していく考えを示した。詳細を記した査読前論文を今週後半に公開する予定だ。

印刷する