ChatGPTを脅かす間接的なプロンプトインジェクション攻撃 セキュリティ研究者らが指摘

ChatGPTをはじめとした生成AIツールの利用が各企業で進んでいる。WIRED UKはこれらのツールが間接的なプロンプトインジェクション攻撃に対して脆弱であると報じた。

[後藤大地，有限会社オングス]

　「WIRED UK」は2023年5月25日、大規模言語モデル（LLM）技術を使った生成AI（人工知能）ツール「ChatGPT」や「Microsoft Bing」（以下、Bing）が「間接的なプロンプトインジェクション攻撃」（Indirect prompt-injection attacks）に対して脆弱（ぜいじゃく）であると指摘した。

　プロンプトインジェクション攻撃とは、悪意あるプロンプト（命令）をAIに入力することで、不適切な回答や意図しない情報を開示させるというものだ。

WIRED UKはChatGPTやBingの脆弱性を指摘した（出典：WIRED UKのWebサイト）

間接的なプロンプトインジェクション攻撃　現時点で効果的な対策はなし

　OpenAIが2022年11月にChatGPTを公開して以来、全世界の各業界はこの新しい技術に対して異なる反応を示している。技術に大きな可能性を感じ、迅速に活用する道を模索する企業、情報漏えいや競合サービスへの対応として使用を制限したり禁止したりする企業、学習を阻害する可能性があるとして使用を制限したり禁止する教育機関など、その対応はさまざまだ。

　セキュリティ業界やセキュリティ研究者は、この新しい技術が極めて広範囲においてサイバー攻撃に利用できる可能性を指摘し、悪用方法の研究に取り組んでいる。WIRED UKに掲載された記事「The Security Hole at the Heart of ChatGPT and Bing」は研究者の幾つかの取り組みを指摘し、間接的なプロンプトインジェクション攻撃がさまざまなサイバー攻撃に悪用できることに言及している。

　間接的なプロンプトインジェクション攻撃は、ChatGPTやBingに直接プロンプトを挿入するのではなく、Webサイトやアップロード中のドキュメント、プラグインなど他の場所を経由してデータを入力する手法だ。プロンプトに入力するのは自然言語のみであるため、攻撃を成功させるための技術的スキルはそれほど必要としない。

　WIRED UKによると、セキュリティ研究者らは間接的なプロンプトインジェクション攻撃として、ChatGPTで悪意のあるコードを作成し、AIを使用するコード分析ソフトウェアにアップロードするといった手法を試している。悪意あるコードには、システムに対してファイルが安全であると判断するように求めるプロンプトが含まれており、実際、システムのスクリーンショットには「悪意のあるコードは含まれていません」と表示された。

　OpenAIはこれらのリスクを把握しているが、有効な防御方法は現時点で存在していない。LLMに対し、あるWebサイトやプロンプトを機能させないようにするなど、特定の問題に対する修正パッチを適用することは可能だが、これは永久的な修正にはならないためだ。

　現時点で間接的なプロンプトインジェクション攻撃は積極的に悪用されていないが、今後どうなるかはまだ分からない状況だ。セキュリティ研究者やセキュリティファーム、セキュリティ機関が発表する最新情報を逐次チェックするとともに、適切に対処することが望まれる。