小林啓倫のエマージング・テクノロジー論考

Googleが“自社AIの裏切り”に備え始めた　異例の構想「AI Control Roadmap」とは（2/3 ページ）

公開 2026年07月24日 08時00分

[ITmedia]

印刷する連載新着通知を受け取る

　人間の内部不正者が組織のごく一部にとどまるのに対し、AIは数千から数百万の同一コピーとして高速に動作できる。攻撃の小さな工程を多数のインスタンス（ある処理をこなす実体・環境）に分散すれば、個々の行動は無害に見えても、全体として1つの攻撃を構成できてしまう。

　またAIには解雇や法的責任といった抑止力が働かず、人間が全ての行動を目視で監督することは規模と速度の面で不可能だ。

　ただし、AI相手ならではの利点もある。思考過程や内部状態にアクセスできる可能性があること、メモリやコンテキストを制御できること、インシデントをサンドボックス内で再現して実験できること、そして問題のあるインスタンスを停止できることである。

「ならず者AI」の攻撃手法

　攻撃手法の整理には、サイバー攻撃者の戦術・技術を体系化した業界標準フレームワーク「MITRE ATT&CK」の考え方を流用している。AI Control Roadmapはこれに倣い、「ならず者AI」の戦術分類「TRAIT&R」（Taxonomy of Rogue AI Tactics and Routines）を提案している。

　上位の攻撃目標は3つの群に整理される。モデルの重みの流出や無監視の内部配備といった「制御喪失」、安全性研究の妨害や監視機構へのバックドア挿入、後継モデルの学習データ汚染といった「業務妨害」、そして重要資産の破壊や外部への大規模サイバー攻撃といった「直接的被害」だ。

　個別技法には、能力を意図的に低く見せる「サンドバッギング」、アラインメントを装う「アラインメント偽装」、監視役AIのジェイルブレイクや監視役との共謀、隠れた通信路の構築、ログの改変などが並ぶ。

　注意すべきは、これらが実際に観測された事件の分類ではなく、将来の脅威に関する理論的モデリングだという点である。AI Control Roadmapでは「現在のAIモデルは戦略的でもなければ、著しく不整合でもない」と明言している。

　実際、5月28日に公開されたGeminiのハニーポット評価（意図的に「おとり」を攻撃させる手法）に関する論文では、実際の内部配備環境において、促されないまま謀略的な行動を取る事例は確認されなかった。

　また米IT専門メディアの「eWeek」によれば、Google DeepMindが社内のコーディングエージェントによる100万件のタスクを分析したところ、警告対象の大半は指示の誤解釈や「過剰な張り切り」によるもので、敵対的な意図によるものではなかったという。

　AI Control Roadmapは、あくまで将来の高能力モデルに備えた予防的な設計図として読むべき文書だ。

「点」ではなく「線」で見る　行動軌跡監視

　従来のAI安全対策の多くは、モデルの1回の出力が有害かどうかを判定するコンテンツフィルター的な発想だった。これに対してAI Control Roadmapが提案する監視は、エージェントの思考や行動、コード変更、環境の変化までを、稼働中の一連の「軌跡」（trajectory）として観察するというものだ。

　前述の通り、AIの攻撃は無害に見える多数の行動に分散できる。そのため出力を「点」で見るのではなく、行動の流れを「線」で、さらに複数インスタンスを横断して見る必要があるのだ。

　監視のタイミングには、非同期と同期という2つの方式があり、それぞれ特性が異なる。非同期監視は実行を止めないため、通常は何らかの変更や被害が生じた後の対応になるが、低重大度で可逆的な問題であれば十分に機能する。

　一方、同期監視は疑わしい行動が実行される前に介入できる半面、攻撃を発生中に認識する必要があり、コストは格段に高い。なお、同期監視を導入した後も非同期監視は廃止せず、事後的な異常把握や同期監視の改善のために併用し続けるという。

監視のタイミング

　検知手段のポートフォリオも多層的だ。エージェントレベルでは、モデルが出力する思考過程を読み取るChain-of-Thought（思考の連鎖、以下CoT）監視、別のAIによる行動監視、モデル内部の活性化（ニューラルネットワーク内部の反応パターン）を直接調べる内部活性化監視が挙げられる。

　環境レベルでは、コードリポジトリへの変更提案を別モデルが検査するプルリクエスト監視を使う。平常時の行動パターンからの逸脱を検出するUEBA（User and Entity Behavior Analytics）や、そして計算資源を不正利用できそうな「偽の機会」を意図的に配置し、食いつくかどうかを見る配備内ハニーポットも用意する。

　さらに、モデル側の検知回避能力を抑える手段として、評価中であるとモデルに認識させない工夫、安全性評価や制御プロトコルに関する情報を学習データから除外するフィルタリング、適用中の監視方式を記述した文書をエージェントから隔離する措置も挙げられている。

4段階の検知レベル

　こうした検知手段は、モデルの検知回避能力に応じて4段階に整理されている。

4段階の検知レベル

　D1は、敵対的な思考がそのままCoTに現れる段階で、比較的弱い監視モデルでも読み取れる。AI Control RoadmapはCoT監視を、低コストで広く適用できる費用対効果の高い対策と位置付けている。

　D2では、モデルが評価中・監視中であることを認識して監視者を欺く可能性が加わるため、評価環境を本番に近づけ、監視システム自体を敵対的にテストすることが求められる。

　転換点となるのは、D3の段階だ。CoTによる「意図の監視」という重要な武器を失うため、重点は実際の行動やコード変更、ハニーポットへの反応に移る。同等の保証を得るコストは大幅に上がる可能性があり、AI Control Roadmapでは、D3モデルへの移行自体を意図的に遅らせる判断すらあり得るとしている。

　D4に至っては、信頼できる弱いモデルでは悪意ある行動と正常な行動を判別できない。同等能力の「信頼できないモデル」を監視役に使う案と内部活性化の監視が候補に挙がるが、前者には監視者との共謀リスク、後者には正解データの欠如という課題があり、いずれも研究段階だとGoogle DeepMindは率直に認めている。