AIエージェントを悪用した攻撃手法3選 対策の考え方にも転換が必要（前編）：AIビジネスのプロ 三澤博士がチェック 今週の注目論文

AIエージェントのセキュリティ脅威に対し、学術界と産業界では新たな対策フレームワークの構築が活発化しています。どのような戦略的アプローチが有効なのでしょうか。最新の研究成果が示す新しい脅威分類と、それに対応する包括的セキュリティフレームワークの設計思想について解説します。

[三澤瑠花，日本タタ・コンサルタンシー・サービシズ]

この連載について

AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底をひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。

　大規模言語モデル（LLM）に対するセキュリティアプローチは、入力検証と出力フィルタリングを中心とした境界防御モデルが主流でした。しかし、AIエージェントが持つ自律性や長期記憶、継続的学習、マルチエージェント協調といった特性から、セッション間での攻撃の維持や時間をかけた段階的な侵害、システム間での横展開といった新たな脅威パターンが出現しています。これらの脅威に対応するため、文脈理解や継続監視、適応防御を統合した新しいセキュリティパラダイムの構築が急務となっています。

従来のLLMセキュリティとの本質的差異

　最新のセキュリティ研究で、AIエージェント時代における脅威構造が従来のLLMセキュリティモデルとは根本的に異なることが明らかになりつつあります。従来のLLMはプロンプトインジェクションや機密情報漏えい、サプライチェーンの脆弱（ぜいじゃく）性など、主に「リスク・レスポンス」型の単発的な相互作用におけるリスクに焦点を当てていました。

　これに対し、AIエージェント環境では「ステートフル」「動的」「文脈依存」という特性から新しい種類の脅威が出現しています。Lasso Securityの研究では、特に重要な3つの新たな脅威が特定されています。

AIエージェントの記憶を徐々に汚染　メモリポイズニング攻撃

　メモリポイズニングは、AIエージェントの長期記憶機能を悪用し、悪意のある情報を段階的に注入することで、セッション全体を通して持続的に意思決定ロジックを変更する攻撃です。この攻撃の特徴は従来の単発的な攻撃とは異なり、時間をかけて複数のセッションにわたって実行されるため検出が非常に困難です。

　対策としては、メモリの暗号化と整合性検証、アクセス制御の強化に加え、異常なメモリパターンの検出機能が重要です。

AIエージェントが使う道具の方を悪用

　ツール悪用攻撃は、AIエージェントが業務遂行のために統合する外部ツールやAPIを悪用し、ビジネスワークフロー内での横展開やリモートコード実行を可能にする脅威です。ツールの悪用により、エージェントはビジネスワークフロー内で横展開されたり、リモートコード実行の攻撃経路として利用されたりする恐れがあります。

　この攻撃の深刻さは、エージェントが正当な業務目的でアクセス可能なツールが攻撃ベクターとなるため、従来の境界防御やアクセス制御では対応が困難であることです。効果的な対策には、ツール入力の厳格な検証、最小権限の原則の徹底適用、サンドボックス化の実装が必要となります。

AIエージェントの権限を勝手に昇格させる

　権限侵害攻撃は、攻撃者がAIエージェントの権限構造を巧妙に操作し、検出されることなく特権昇格を図る攻撃です。権限侵害により敵対者がエージェントの権限を操作することで、静かにアクセスを昇格させられることが示されています。

　AIエージェントは業務遂行のために複数のシステムやデータベースにアクセスする必要があるため権限管理が複雑になりやすく、攻撃者によって狙われやすくなっています。対策としては、動的権限管理システムの実装や継続的な認証プロセス、行動分析による異常検知が効果的とされています。

　後編ではAIエージェント時代のセキュリティのキホン的な考え方について解説します。

〇参考文献

技術ブログ：AIエージェントのハイジャック評価の強化

2025年に知っておくべきエージェントAIセキュリティの脅威トップ

脅威にさらされているAIエージェント：主要なセキュリティ課題と将来の経路の調査

著者紹介　三澤瑠花（日本タタ・コンサルタンシー・サービシズ）

AIセンターオブエクセレンス本部　AIラボ ヘッド

日本女子大学卒業、東京学芸大学大学院修士課程修了（天文学）　フランス国立科学研究センター・トゥールーズ第3大学大学院　博士課程修了（宇宙物理学）。

2016年入社。「AIラボ」のトップとして、顧客向けにAIモデルの開発や保守、コンサルティングなどを担当している。