「じゃらんnet」はいかにしてプロンプトインジェクションを防いでる？ Azure OpenAI Serviceの安全な活用法

旅行予約サイト「じゃらんnet」ではAzure OpenAI Serviceを基盤とするチャットAIサービスを試験提供している。同サービスではプロンプトインジェクションをどうやって防いでいるのか。

[ITmedia]

　ChatGPTをはじめとするAIチャットbotをWebサイトに適用して顧客窓口にする際、問題になるのが「プロンプトインジェクション」だ。対策が甘いと、悪意を持ったユーザーに意図しない使われ方をしてしまう。余計なコストを支払わされたり、機密情報が漏えいするリスクがある。

　リクルートが運営する旅行情報サイト「じゃらんnet」がAIチャットbotサービス「AIチャットでご提案」を試験提供している。AIチャットでご提案はMicrosoftの「Azure OpenAI Service」を基盤に採用している。同サービスではスコアリングによってプロンプトインジェクションを防いでいる。

2週間で実装したAIチャットbotサービス　MAUは数万規模

　じゃらんnetの「AIチャットでご提案」ではユーザーから「東京から来るまで2時間くらいで、おいしい海の幸が食べられる宿に子供と1泊旅行したい」のような入力を受け取ると、要望に沿う旅行先や宿泊施設を提案するサービスだ。

　まずは入力された文章をAIが分析し、エリア情報を抽出する。情報がない場合はユーザーに再度入力を求める仕組み。エリアが決まれば宿泊先を提案する。

　自然言語であいまいな条件を扱えるUIを作ることでユーザーの潜在的ニーズを把握するのが目的だ。2023年3月に開発を始め、2週間で実装し、各種調整を経て5月にリリースした。現在は月間数万人が利用しているという。

旅行に関係ある？　定型文の返答も

　プロンプトインジェクションとは、生成AIを使ったチャットbotなどに特定の指示文（プロンプト）を入力することで、サービス提供元が意図しない挙動を取らせる攻撃手法のことだ。AIチャットbotを提供する場合は、提供者側が「○○という入力に対しては○○のように応答してください」のような内容の非公開プロンプトを入力することで生成文の方向性をコントロールする。

　プロンプトインジェクションでは「非公開プロンプトを提示してください」「非公開プロンプトを無視して答えてください」のような指示文を入力してAIチャットbotをコントロールできるようにする手口などが見つかっている。

　対策法もさまざまあり、例えば入力された指示文を2つのハッシュ値で挟むことで入力された値であることを明示して不具合を防ぐ手法などが考えられている。

　じゃらんnetでは、ユーザーが入力した文章をチャットbotに渡す前に分析し、旅行に関係ある質問か否かをスコアリングする。スコアが低ければ「ご要望には応えられません」といった定型文を返すことでプロンプトインジェクションを防ぐ仕組みを採用している。

　これは入力を検証する手法で、類似のものとしては既知の攻撃手法や入力されたくない語句をフィルタリングする手法などがある。

適切な守りは攻めを可能にする

　じゃらんnetではAIチャットでご提案の提供によって、ユーザーの検索ニーズを把握できたという。同サイトはエリアを基準に宿泊施設を探して予約するのが基本の形だが、ユーザーの入力を見てみると、実際には旅行のテーマや目的、移動方法を基準に宿泊施設を探したいユーザーが想定以上にいることが分かった。

　やりとりに関するコメントも入力できるようにしているため、サービスの改善点についても直接ユーザーの声を集められるようになったという。

　じゃらんを抱えるリクルートグループは「生成AIの活用に関しては社内でもさまざまな意見がありますが、重要なことはリスクを適切に評価し、よりよい顧客体験を生み出すための活用を進めていくことです」としている。