OpenAI、フロンティアAIの強化学習を一部停止　安全対策を強化

公開 2026年08月19日 07時06分

[ITmedia]

印刷する

　米OpenAIは8月18日（現地時間）、モデルの開発・テスト中に発生する可能性のあるセキュリティインシデントを抑えるため、安全対策を強化すると発表した。7月に明らかになったHugging Faceへの侵害インシデントと、次期モデル「Astra」が自社の安全指針「Preparedness Framework」の最上位「Critical」に当たるサイバー能力に達している可能性が示されたことを受けたものだ。

（画像：OpenAI）

　同社は、モデルの能力向上に伴って開発・テスト段階のリスクも増大しているとして、必要な安全基準を満たす時間を確保するため、モデルの規模拡大を一時的に減速した。投入予定の最新モデルの強化学習（RL）を2週間停止し、その間に研究環境の堅牢化やレッドチーム演習、監視範囲の拡大を進めた。計画していた最大規模のフロンティアモデルの強化学習は現在も保留しており、小規模な学習と評価でセーフガードやアラインメントの有効性を確認してから再開する。

　サム・アルトマンCEOもXで「目前にある新たな水準の能力に対し、適切なアラインメント、セキュリティ、監視の基準を満たせるようにするため、一部のフロンティアRLを停止した」と投稿。業界全体で共通の安全基準を調整する必要があるとしつつ、それまでは単独で行動するとした。「安全性への確信が、AIの進歩のペースを決める度合いが強まっていく」との見方を示す一方、「素晴らしい新モデルは近く投入する予定で、今回の影響を受けるのは、より先のリリースだ」とも説明している。

　OpenAIは対策の柱として、AIがアクセス・影響できる範囲を制限する「セキュリティ管理」、問題行動を検知する「監視」、有害・不正な行動の発生確率を下げる「アラインメント」の3つを挙げた。将来的にはモデル自身がセキュリティ業務の大半を担うとみており、能力向上に合わせてこれらの対策を拡張していく。

研究環境のセキュリティ基準を引き上げ

　研究環境では、Hugging Face事件の直後、コード実行やインターネットに接続可能なツールを使うフロンティアモデルの推論を停止し、ワークロードごとに再開の可否を判断した。主な新要件として、信頼できないコードを実行する際のサンドボックス強化、単一の侵害だけでは外部に到達できないネットワーク隔離、自社モデルによる模擬攻撃を含む継続的なセキュリティテストを挙げている。Astraやサイバー関連のワークロードには最も厳格な水準を適用しているという。同社は、こうした対応がフロンティア研究に大きなコストと遅延をもたらしたことも認めている。

思考過程の監視を多段化、30分以内の警報を目標に

　監視については、これまでツールを使う全ての推論・学習が対象ではなかった。新体制では、サンプリングされるトークンごとにモデルの内部活動を検査する「活性化分類器」を走らせ、疑わしい兆候をより高度な自動調査システムに引き継ぐ。ツール操作や参照可能な推論内容、活動全体から、不正アクセスやデータ窃取、破壊的行動、セーフガード回避などを検出する。

　警報は検知から30分以内の発報を目標とし、重要なセキュリティ境界の侵害が疑われる場合は、セーフティ、セキュリティ、研究の各チームに最優先の警報を出す。この監視は「GPT-5.6 Sol」相当以上のモデルがツールを使う全ての強化学習・評価で必須とし、Astraについては8月7日以降、ツールを使う全ての推論にも義務付けている。