RAGベースのAIシステムを狙う新たなサイバー攻撃「ConfusedPilot」とは？：セキュリティニュースアラート

RAG（検索拡張生成）ベースのAIシステムに誤情報を拡散する新しいサイバー攻撃「ConfusedPilot」が登場した。悪意のあるコンテンツをドキュメントに追加することでAIの応答を通して組織内に誤情報を拡散する。有効な対策はあるか。

[後藤大地，有限会社オングス]

　コンピュータ情報サイト「Security Boulevard」は2024年10月15日（現地時間）、「ConfusedPilot」と呼ばれる新たな攻撃手法について報じた。この攻撃手法は「Copilot for Microsoft 365（以下、Microsoft 365 Copilot）」などのRAG（検索拡張生成）ベースのAIシステムに対して有効とされ、悪意のあるコンテンツをドキュメントに追加することでAIの応答を通して誤情報が組織内に拡散される可能性がある。

RAGベースのAIシステムを狙うConfusedPilot　その危険性と有効な対策は？

　ConfusedPilotは、まず攻撃者が特別に加工した文書をターゲットのデータ環境に導入することから開始される。この文書をRAGシステムが取り込むことでAIが参照して誤った応答が生成される。特に複数の部門やユーザーがデータを共有する大規模な企業やサービスプロバイダーにおいてConfusedPilot攻撃のリスクは高いとされている。

　悪意のあるデータが削除されたとしてもAIシステムに一度取り込まれた情報がしばらく残るため、誤った応答を生成し続ける可能性があり、組織全体に長期的な影響を及ぼす可能性があることが指摘されている。

　この脅威への効果的な対策が提案されている。それは以下の通りだ。

• データアクセスの制限：　AIシステムが参照するデータのアップロードや変更を厳しく管理し、データガバナンスを強化することが重要
• データ整合性の監査：　データの変更や不正な操作を早期に検出するために定期的なデータ監査を実施する必要がある
• データセグメンテーション：　可能な場合は機密データをより広範なデータセットから分離し、AIシステム全体に破損した情報が広がるのを防ぐ
• AI固有のセキュリティツール：　AIシステムに対して専門的なAIセキュリティツールを導入することが推奨される
• 人間による監視：　意思決定の場面ではAIが生成する重要な情報に対して必ず人間の目で確認し、正確性を検証するプロセスが求められる

　AIの応答が正確で信頼できるものであるためには、参照するデータの整合性が不可欠といえる。企業や組織はAIシステムにおけるデータセキュリティの重要性を再確認するとともに、AIセキュリティを強化することが求められている。