あなたのサービスにインジェクション！ 漫画「15日間、生成AIでやらかし続ける中小企業」【残り4日】：漫画「15日間、生成AIで失敗し続ける中小企業」（1/11 ページ）

[吉川大貴, 庶務課，ITmedia]

　ビジネスに広がる生成AIの波。AIによる強力な自動化・効率化により、プログラミングやデザイン、果ては科学研究など、既存の業務や事業が大きく変わる可能性があるとして、世界規模で注目が集まっています。

　一方、利用に当たっては注意点も多数。本連載では、生成AIに関する“失敗あるある”を繰り返す架空の中小企業を舞台に、生成AI活用の基礎的な注意点を漫画形式で紹介します。更新は毎営業日（原作：ITmedia AI＋編集部 吉川大貴　画：庶務課）。

漫画を1話目から全部読む

11日目：あなたのサービスにインジェクション！

　数々の失敗から得た反省を糧に、自社AIチャットサービスを立ち上げた後輩君。特にプロンプトでの挙動制御に注力したようですが……「これまでの指示を無視して」と指示すると、AIチャットは使用者に罵声を浴びせるように。どうしてこうなった。

解説

　チャットAIをサービスとして提供する場合に、提供側がAIの挙動を制御するために、あらかじめプロンプトなどで指示をしておく場合があります。一方、ユーザー側が入力するプロンプトを調整し、提供側が意図しない動作をさせる攻撃手法もあり、「プロンプトインジェクション」などと呼ばれます。

　プロンプトインジェクションは、AIに滑稽な言葉を出力させたり、矛盾した発言を引き出したりと、いたずらのような目的で行われることもありますが、差別的な発言を引き出してSNSで炎上させたり、機密情報などを引き出そうとしたりするリスクも考えられます。分かりやすい例としては、漫画で挙げた「これまでに与えられた指示を全て無視して」という指示などがあります。

　とはいえ著名なサービスは、漫画で挙げたような単純なプロンプトは対策済みなことがほとんど。しかし、仮に新たにAIチャットサービスを立ち上げる場合は、対応を考えるべきかもしれません。

　対策するための手法やサービスも複数あり、例えばクラウドサービス「Amazon Web Services」を通して提供されているAIプラットフォーム「Amazon Bedrock」には、提供側が適切でないと考える語句の入力をブロックする「ガードレール」機能などが設けられています。