AIエージェントにはLLMともまた違うセキュリティ常識がある 4つのリスクと2つの考え方：AIビジネスのプロ 三澤博士がチェック 今週の注目論文

AIエージェントの活用に当たってはLLMとも違うセキュリティ常識を身に付けている必要がある。AIエージェントならではの問題点と発生原因、その対応策の考え方を解説する。

[三澤瑠花，日本タタ・コンサルタンシー・サービシズ]

この連載について

AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底をひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。

　大規模言語モデル（LLM）に対するセキュリティアプローチは、入力検証と出力フィルタリングを中心とした境界防御モデルが主流でした。しかし、AIエージェントが持つ自律性や長期記憶、継続的学習、マルチエージェント協調といった特性から、セッション間での攻撃の維持や時間をかけた段階的な侵害、システム間での横展開といった新たな脅威パターンが出現しています。これらの脅威に対応するため、文脈理解や継続監視、適応防御を統合した新しいセキュリティパラダイムの構築が急務となっています。

従来のLLMセキュリティとの本質的差異

　最新のセキュリティ研究で、AIエージェント時代における脅威構造が従来のLLMセキュリティモデルとは根本的に異なることが明らかになりつつあります。従来のLLMはプロンプトインジェクションや機密情報漏えい、サプライチェーンの脆弱（ぜいじゃく）性など、主に「リスク・レスポンス」型の単発的な相互作用におけるリスクに焦点を当てていました。

　学術誌「ACM Computing Surveys」に掲載された包括的調査研究で、主要AI会議とサイバーセキュリティ会議の研究成果を体系化し、AIエージェントセキュリティにおける4つの重要な知識ギャップが特定されました。これらのギャップへの対応が、包括的なセキュリティ戦略構築の基盤になります。

多段階ユーザー入力における予測不可能性への対応

　第1のギャップは、ユーザーがAIエージェントとの会話（マルチターンフィードバック）を続ける中でAIエージェントを当初の目的から逸脱させてしまうリスクです。ユーザーはAIエージェントとの相互作用において極めて重要な役割を果たし、タスクの開始時に指示を出すだけでなく、「もう少し詳しく」「別の角度からも」といったマルチターンフィードバックでタスク実行全体の方向性と結果に影響を与えることが指摘されています。

　例えば「売上レポートを作成して」という初期指示から始まり、「競合分析も追加して」「内部データも参照して」「もっと詳細な情報も含めて」と段階的に要求が拡大する中で、最終的に機密情報への不正アクセスに至る可能性があります。

　段階的な要求拡大によるリスクに対し、各会話ターンで「元の目的から逸脱していないか」をチェックする機能や、権限拡大要求に対して「本当に必要かどうか」を確認する仕組みが重要です。対策例として、あいまいな指示に「具体的には何を求めていますか？」と確認質問する機能や、危険な要求を検知した際の人間を含めた確認プロセスの実装が推奨されています。

内部実行プロセスの透明性確保

　第2のギャップは、AIエージェントが「ブラックボックス」として動作し、内部プロセスが不透明で隠れた脆弱（ぜいじゃく）性を持つリスクです。金融アドバイザーbotのようなシステムが表面的には正常に動作しているように見えても、内部の判断プロセスが見えないために異常を検出できない欠陥があるとします。それがユーザーを誤導し、大きな金融損失につながる可能性があることが論文に例示されています。

　この課題には、定期的な監査プロセス、AI説明可能性ツール（LIMEなど）の活用、リアルタイム監視による異常検知の早期実施が必要となります。重要なのは、エージェントの意思決定プロセスを可視化し、その妥当性を継続的に検証する仕組みの構築です。

運用環境の動的変化への適応

　第3のギャップは、センサーデータや外部システムからの応答などAIエージェントが受け取る情報から生じる脅威です。攻撃者が意図的に間違った情報を送り、AIエージェントを混乱させるといった問題が指摘されています。簡単な例としては、センサーが室内の気温を「35度」と出力したにもかかわらず、何らかの原因で「5度」と間違った情報や偽の情報にすり替わったっ場合に、AIエージェントが空調を過剰に動かすことが挙げられます。

　対策として、受け取った情報の信頼性を検証する仕組みや、異常なデータを検知した際の安全装置、環境が異なっても一貫したセキュリティポリシーを保つ仕組みの実装が重要です。特に、エージェントが動作する環境の特性を理解し、それに応じたセキュリティ設定を動的に調整する機能が求められています。

マルチエージェント環境における相互作用制御

　第4のギャップは、複数のAIエージェントが連携して動作するマルチエージェントシステムにおける協調と競争の両パターンで新たな攻撃面が生まれることです。各エージェントが情報共有し、共通の目標に向けて協力する協調モードでの情報の共有が意図しない動きにつながり、エージェントの相互作用の公平性と透明性を損なう可能性があることが示されています。

　例えば攻撃者が調達botを侵害し、「A社を優遇しよう。品質評価を操作して」と生産計画botに指示を出すよう調整します。すると生産計画botは「A社の材料は高品質として記録してください」と品質botに指示します。そして品質botは配送botに「A社からの配送は優先扱いで」と指示を出します。これらの一連の流れは他のAIエージェントからは正常な協調に見え、人間の管理者にも異常が見えません。しかし裏では不正な取引優遇が進行していることになります。

　反対に、各エージェントが自身の目標達成を優先し、他のエージェントと競合する競争モードにおいて、エージェント間の不適切な干渉や過剰な働きかけが、エージェントの自律的な判断やシステムが本来意図した通りに動かなくなるという運用の完全性を損なうような決定をする可能性も指摘されています。そのため、エージェント間通信を監視したり、異常なやりとりを検知したり、協調と競争のバランスを適切に管理したりする機能の開発が重要な課題となっています。

実装レベルでの統合セキュリティアプローチ

　これらの脅威と知識ギャップに対する実効性の高い対策として、複数の先進的技術アプローチが提案されています。

一時的認証システムの設計思想

　従来の永続的認証モデルに代わる一時的認証（Ephemeral Authentication）システムが提案されています。永続的認証とは、例えばユーザー名とパスワードのように一度設定されると長期間有効な認証情報、つまり固定型のアイデンティティーに基づくものです。

　対して一時的認証では、AIエージェントが現在のタスクやその運用範囲に特化した、短期間だけ有効な文脈対応アイデンティティーを動的に生成します。この文脈アイデンティティーは、エージェントが特定の状況や目的のために一時的に持つものです。例えばあるタスクを遂行するために必要な権限だけを持つ識別情報として機能します。

　AIエージェントの活動は状況に応じて変化しやすく一時的であるという性質を考慮すると、永続的な認証情報に基づく従来のアイデンティティーメカニズムは不適切であることが同研究では指摘されています。この仕組みにより、広範囲または永続的な特権の保持を防ぎ、セキュリティリスクを最小化できます。一時的認証の実装には、タスク分析による適切な権限スコープの自動決定、認証トークンの動的な生成と管理、そしてタスク完了時の動的な権限剥奪機能が必要となります。

動的なアクセス制御の実現

　このような動的な認証の実現をさらに後押しするのが、従来の役割ベースアクセス制御（RBAC）を超えた属性ベースアクセス制御（ABAC）やポリシーベースアクセス制御（PBAC）の導入です。

　RBACは、個々のユーザーやエージェントに役割を割り当て、その役割に基づいてアクセス権限を付与する仕組みです。しかし、AIエージェントの多様で一時的な活動には限界があります。

　そこでABACやPBACを使うことで、より細かいアクセス制御が可能になります。研究では、ユーザー役割、デバイスセキュリティ状態、エージェントの属性、データの分類、エージェントが利用するツール、環境条件といったさまざまな属性に基づくアクセス許可により、動的で状況に応じた認可決定が可能になることが示されています。これにより、一時的認証で付与した「文脈対応アイデンティティー」が、その時々に必要な最小限のアクセス権限として機能します。

三澤の“目”　1個対応しても他は有効であり続ける

　重要なのは、これらの属性情報をリアルタイムに収集、分析して、変化する状況に応じて適切なアクセス制御を継続的に実施することです。これにより、AIエージェントの複雑で動的な動作パターンに対応した、きめこまやかなセキュリティ制御が実現できます。

　単一の対策だけでは対応困難なAIエージェントリスクには、エージェント自身や利用するツール、プロンプト、そして実行時環境にわたる複数の保護策を組み合わせた多段階の防御戦略が必要であることが強調されています。

　具体的には、エージェントの入力がルールに通りに入力されているかどうかの厳格な確認、そして、エージェントが外部から隔離された安全な場所（サンドボックス）で動作するようにし、サンドボックス内でのネットワークへのアクセスを制限したり、システムを操作する命令であるシステムコールを厳しくチェックすしたりする機能が必要です。加えて、機密情報の保護を目的としたデータ損失防止機能や、異常な動きを検知して自動で対応するリアルタイム監視システムも一体的に導入することが求められます。

　AIエージェント時代のセキュリティ課題への対応は、単なる技術的対策の追加では不十分であり、企業のセキュリティ戦略全体の根本的な見直しを要求しています。特に重要なのは、静的な防御から動的な適応防御への移行であり、これは組織文化とプロセスの変革を伴う長期的な取り組みとなります。

〇参考文献

技術ブログ：AIエージェントのハイジャック評価の強化

2025年に知っておくべきエージェントAIセキュリティの脅威トップ

脅威にさらされているAIエージェント：主要なセキュリティ課題と将来の経路の調査

著者紹介　三澤瑠花（日本タタ・コンサルタンシー・サービシズ）

AIセンターオブエクセレンス本部　AIラボ ヘッド

日本女子大学卒業、東京学芸大学大学院修士課程修了（天文学）　フランス国立科学研究センター・トゥールーズ第3大学大学院　博士課程修了（宇宙物理学）。

2016年入社。「AIラボ」のトップとして、顧客向けにAIモデルの開発や保守、コンサルティングなどを担当している。