AIエージェントが乗っ取られる「エージェントハイジャッキング」 急速な導入の裏で発生している問題：AIビジネスのプロ 三澤博士がチェック 今週の注目論文

企業が生成AI（LLM）からAIエージェントへと活用の幅を広げる過程で起こり得る、従来のサイバーセキュリティフレームワークでは対応困難な新たなサイバー脅威について詳しく解説します。

[三澤瑠花，日本タタ・コンサルタンシー・サービシズ]

この連載について

AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底をひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。

　従来のLLMはユーザーからの入力のみを受け取って単発的な応答を生成する「ステートレス」なシステムです。一方でAIエージェントは、目標を達成するために必要な情報を収集し、計画立案から実行までを自律的に行う「ステートフル」なシステムです。

　この根本的な違いから、AIエージェントは長期記憶機能、複数システムへの連続アクセス、他エージェントとの協働動作という特性を持ちます。これらの特性が、従来のサイバーセキュリティ対策では想定されていない新たな攻撃と持続的なリスクを生み出しています。

企業におけるAIエージェント導入の急速な拡大とガバナンスギャップ

　企業のAIエージェント導入は予測を上回る速度で進んでいます。しかし、この急速な導入に反して、セキュリティガバナンスの整備が大幅に遅れている実態が明らかになりつつあります。

　最も深刻な問題は、AIエージェントが企業の重要データにアクセスする範囲とその影響の把握が不十分であることです。AIエージェントは顧客情報や財務データ、知的財産、法的文書、サプライチェーン情報など、企業の競争力の源である機密情報に幅広くアクセスします。しかし、従来のアイデンティティー管理とは異なり、AIエージェントは複数の異なるアイデンティティーを要求し、より広いシステムの権限を必要とする特性を持っています。

AIエージェントが意図しない行動をとる

　AIエージェントが意図された業務範囲を超えた行動を実行するケースが報告されています。具体的には、未認証システムへのアクセスや、機密データの不適切な取得、認証情報の意図しない開示などが確認されています。

　特に危険なのは、AIエージェントが正当な業務目的で行動しているように見えながらも、実際は攻撃者によって巧妙に誘導されているケースです。これは従来の境界防御型セキュリティでは検知が困難な「内部からの脅威」として新たなリスクカテゴリーを形成しています。

ガバナンス体制の構造的脆弱性

　現状、企業組織ではIT部門がAIエージェントのアクセス権限について最も詳細な情報を持つ一方、コンプライアンスや法務、経営陣など、リスク管理に責任を持つステークホルダーの理解と関与が不十分な状況が続いています。この情報格差により、適切なリスク評価と意思決定が困難になっています。

　さらに深刻なのは、多くの企業でAIエージェントがアクセス、使用、共有するデータの完全な追跡と監査ができていないことです。これによってデータ保護規制への準拠や、インシデント発生時に影響範囲の特定が困難になるリスクが高まっています。

実証実験が明らかにした攻撃成功率の深刻な実態

　米国国立標準技術研究所（NIST）のAI安全研究所による実証実験によって、AIエージェントのセキュリティ脆弱（ぜいじゃく）性に関する重要な知見が得られました。エージェントハイジャッキング攻撃の成功率に関する発見です。

　従来のセキュリティ評価では、単発的な攻撃テストによる脆弱性評価が一般的でした。しかし、NIST研究では、同一の攻撃を複数回実行することで攻撃成功率が大幅に向上することが実証されました。具体的には、5つのインジェクションタスクを各25回実行した結果、攻撃成功率の平均が57％から80％に上昇しました。

　この発見は、現実の攻撃者が持つ「継続的な攻撃機会」を考慮した評価の重要性を示しています。つまり、単発のテストでは安全と判断されたシステムでも、継続的な攻撃には脆弱である可能性が高いのです。

エージェントハイジャッキングの本質的リスク

　エージェントハイジャッキングは間接的なプロンプトインジェクションの一種で、攻撃者がAIエージェントによって処理される可能性のあるデータに悪意のある指示を埋め込む攻撃手法です。この攻撃の特徴は、正常なデータ処理プロセスの中に悪意のある要素が隠蔽（いんぺい）されるため、従来のセキュリティ対策では検知が困難であることです。

　NIST研究では「AgentDojo」という評価フレームワークを改良し、より現実的な攻撃シナリオでの評価手法を開発しています。この改良版フレームワークがオープンソース化されることで、業界全体でセキュリティ評価の標準化と向上が期待されています。

　研究チームは、エージェントハイジャッキングがAIエージェントシステムの進化と共に継続的な課題となることを警告しています。これは、技術の発展に伴って新たな攻撃面が生まれ続けるため、静的な防御策では対応が困難であることを意味しています。

三澤の“目”　イノベーションとセキュリティの両立

　現在の状況で最も複雑な課題は、AIエージェントのビジネス価値の高さと、それに伴うセキュリティリスクの間のトレードオフです。調査では、多くの企業がAIエージェントを「増大するセキュリティ脅威」として認識しながらも、競争優位性確保のための重要な技術として位置付けていることが明らかになりました。

　実際に、ほぼ全ての企業が今後12カ月以内にAIエージェントの使用拡大を計画しており、この技術への投資は後戻りできない段階に入っています。この状況は、企業のCIOや情報システム責任者にとって困難な意思決定を迫っています。

　重要なのは、この選択が単なる技術的な判断ではなく、企業の将来的な競争力とリスク許容度に関わる経営戦略的な判断であることです。適切なリスク評価と対策により、「攻めのAI活用」と「守りのセキュリティ」の両立を図る統合的アプローチの構築が急務となっています。

　AIエージェント時代では、企業のサイバーセキュリティ戦略における根本的なパラダイムシフトが必要です。従来の「静的な境界防御」から「動的で文脈対応的な防御」への移行は、技術的な対策の追加では不十分であり、組織全体のセキュリティ文化と意思決定プロセスの変革を伴う必要があります。

　特に重要なのは、AIエージェントが持つ「自律性」「継続性」「相互連携性」という特性が、従来のセキュリティガバナンスの前提を根本的に変化させることです。これらの特性により、一度の侵害が組織全体に波及する可能性が高く、影響の予測と制御が困難になっています。

　次回は、これらの新たな脅威に対する具体的な対策フレームワークと、最新のセキュリティソリューション動向について、実践的な観点から詳しく解説します。企業が今後採るべき戦略的アプローチと、その実装における重要な考慮点を明らかにしていきます。

〇参考文献

新しい調査:コンプライアンス、緊急アクセスリスク、自動化の主なトレンド

AIエージェントのハイジャック評価の強化

著者紹介　三澤瑠花（日本タタ・コンサルタンシー・サービシズ）

AIセンターオブエクセレンス本部　AIラボ ヘッド

日本女子大学卒業、東京学芸大学大学院修士課程修了（天文学）　フランス国立科学研究センター・トゥールーズ第3大学大学院　博士課程修了（宇宙物理学）。

2016年入社。「AIラボ」のトップとして、顧客向けにAIモデルの開発や保守、コンサルティングなどを担当している。