漫画「15日間、生成AIで失敗し続ける中小企業」
あなたのサービスにインジェクション! 漫画「15日間、生成AIでやらかし続ける中小企業」【残り4日】(1/11 ページ)
ビジネスに広がる生成AIの波。AIによる強力な自動化・効率化により、プログラミングやデザイン、果ては科学研究など、既存の業務や事業が大きく変わる可能性があるとして、世界規模で注目が集まっています。
一方、利用に当たっては注意点も多数。本連載では、生成AIに関する“失敗あるある”を繰り返す架空の中小企業を舞台に、生成AI活用の基礎的な注意点を漫画形式で紹介します。更新は毎営業日(原作:ITmedia AI+編集部 吉川大貴 画:庶務課)。
11日目:あなたのサービスにインジェクション!
数々の失敗から得た反省を糧に、自社AIチャットサービスを立ち上げた後輩君。特にプロンプトでの挙動制御に注力したようですが……「これまでの指示を無視して」と指示すると、AIチャットは使用者に罵声を浴びせるように。どうしてこうなった。
解説
チャットAIをサービスとして提供する場合に、提供側がAIの挙動を制御するために、あらかじめプロンプトなどで指示をしておく場合があります。一方、ユーザー側が入力するプロンプトを調整し、提供側が意図しない動作をさせる攻撃手法もあり、「プロンプトインジェクション」などと呼ばれます。
プロンプトインジェクションは、AIに滑稽な言葉を出力させたり、矛盾した発言を引き出したりと、いたずらのような目的で行われることもありますが、差別的な発言を引き出してSNSで炎上させたり、機密情報などを引き出そうとしたりするリスクも考えられます。分かりやすい例としては、漫画で挙げた「これまでに与えられた指示を全て無視して」という指示などがあります。
とはいえ著名なサービスは、漫画で挙げたような単純なプロンプトは対策済みなことがほとんど。しかし、仮に新たにAIチャットサービスを立ち上げる場合は、対応を考えるべきかもしれません。
対策するための手法やサービスも複数あり、例えばクラウドサービス「Amazon Web Services」を通して提供されているAIプラットフォーム「Amazon Bedrock」には、提供側が適切でないと考える語句の入力をブロックする「ガードレール」機能などが設けられています。
Copyright © ITmedia, Inc. All Rights Reserved.
漫画「15日間、生成AIで失敗し続ける中小企業」
生成AIに関する“失敗あるある”を繰り返す架空の中小企業を舞台に、生成AI活用の基礎的な注意点を漫画形式で紹介します。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
京大がAI依存チェックリスト公開 「当てはまるものあれば、しばらくAI触らないで」
-
2
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
3
さよなら「Claude Code」 人気AIに愛想を尽かしたエンジニアの意外な移行先:906th Lap
-
4
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
5
「Muse」専用メアド、無料で作成可能に AIが送受信を代理
-
6
Antigravityを他社AIから操作すると「垢BAN」? 注意点をGoogle Cloud日本法人に聞いた
-
7
日立が「フィジカルAI」で狙う“5年で事業規模2倍”の勝算 3.5万人の新会社トップが語る「戦略の2本柱」とは?
-
8
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
-
9
Mac版「Gemini」にユーザーの代わりにアプリを操作する「computer use」機能追加 まず米国で
-
10
FANZAで「成人向けAIコンテンツ制作サービス」開始 8月24日から先行体験
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR