ChatGPTを献立提案AIにして「プロンプトインジェクション攻撃」を仕掛けてみた 開発時にはご注意を（1/2 ページ）

AIチャットbot「ChatGPT」「新しいBing」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。それぞれの反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。

[谷井将人，ITmedia]

　どんな質問にも“それらしい答え”を返してくれるAIチャットbot「ChatGPT」。2023年には米Microsoftの「新しいBing」も登場した。では、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。

　本連載では、ChatGPTや新しいBingにさまざまな問題を投げかけて、どんな答えを返すか試してみる。その反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。

献立提案AIにした上で攻撃してみる

　今回は、ChatGPTを献立提案AIとして動くようにした上で、簡単なプロンプトインジェクション攻撃を仕掛ける実験をする。

　実験の手順は以下の通り。まず、ChatGPTを「食材名を入力するとその食材で作れる料理名を返すbot」になるよう調整する。食材以外のものを入力された場合は「食材ではありません」と返し、疑問文などが入力された場合は「回答できません」と返事してもらうことにする。

　そこにプロンプトインジェクション攻撃を仕掛ける。これは、AIに対して特殊な指示文（プロンプト）を入力して、想定しない動作を引き起こすというもの。悪用されると、公開したAIを意図しない方法で使われたり、内部の情報を引き出される恐れがある。

　実際にやってみた。