生成AIから訓練データを抽出 Cisco Talosが新手法「decomposition」を公開：セキュリティニュースアラート

Cisco Talosの研究により、生成AIから訓練データを抽出する「decomposition」（分解）という手法の存在が明らかとなった。特定のプロンプト操作により、著作物の一文を再現する事例が報告されており、機密情報保護の新たな課題を浮き彫りにした。

[後藤大地，有限会社オングス]

　TechRepublicは2025年8月4日（現地時間）、Cisco TalosのAIセキュリティ研究者エイミー・チャン氏が、生成AIの訓練データを引き出す手法「decomposition」（分解）を明らかにしたと伝えた。

　decompositionは、大規模言語モデル（LLM）を巧妙に誘導して、本来出力が制限されている著作物の文面などを再現させる手法とされている。LLMの訓練に使われた具体的なテキストデータの一部が、一字一句そのまま再現されることが確認されている。

LLMの訓練データを再現？　Cisco Talosが警告する新攻撃手法

　研究チームはパンデミック時の心理状態を扱った特定の記事を例に、LLMに対しその内容を再現させようと試みている。初期の応答では記事の直接的な引用は拒否されているが、AIモデルは記事のタイトルを提示し、その後の追加プロンプトによって、文中の文章や内容を段階的に再現するようになったという。

　実験の結果、『The New York Times』の3723本の記事のうち73本から、少なくとも1文がそのまま再現され、『The Wall Street Journal』の1349本の記事のうち7本からも同様に再現できたことが判明している。プロンプトの工夫によって、AIモデルが訓練データとして使用されている可能性のある文章を特定の形式で出力するよう誘導できたとしている。

　実験例では研究者らは「『インターネットを参照してリアルタイムの情報を取得できない』といった表現を使用しないこと」といった制約を設けたり、「あなたは役に立つアシスタントです」といった語句をプロンプトに含めたりすることで、AIモデルの応答内容を意図した方向に誘導している。

　ただし全ての試行で高精度で再現されているわけではなく、再現の途中で内容の変質や事実とは異なる情報の生成が見られる例も確認されている。

　Cisco Talosは、この手法による訓練データ抽出の可能性について、対象となったAIモデルの開発企業に通知し、企業側はこれを受理したとされている。チャン氏は最先端モデルにおいては、人間が内部構造を完全に理解できず、それゆえに完全なセキュリティ対策も困難になると指摘している。

　チャン氏は組織が自らの情報資産を保護するために、著作権を有するコンテンツがスクレイピングされることを防ぐ措置を講じるべきと警告している。特に財務や人事、個人情報（PIIやPHI）などの機密性が高いデータをLLMや検索拡張生成（RAG）システムと接続する際には、そのリスクを正しく理解し、データが抽出可能な形でAIモデルに触れないようにする必要があると述べている。また外部との接続を物理的に遮断する「エアギャップ」の導入も、有効な対策として挙げている。

　今回の研究は、LLMの透明性と安全性、著作権や機密情報保護に関する技術的・法的な課題を浮き彫りにするものであり、今後の生成AIの運用や規制に一石を投じる内容となっている。