「お金を振り込んで。君と未来を築きたい」――ソフトバンクの“詐欺体験AI”と話してみた結果……

　相手に恋愛感情や親近感を抱かせ、お金をだまし取るロマンス詐欺。マッチングアプリやチャットツールで猛威をふるう手法だが、生成AIを活用して手口を周知する試みがあるのはご存じだろうか。

　ソフトバンクは2024年夏、香川県警と共同で、LINEでのやりとりを通じて被害を疑似体験できるツールを開発・公開した。25年5月13日には、マッチングアプリ「Pairs」（ペアーズ）運営会社のエウレカの事業戦略説明会でもツールを展示。体験もできたので、記者も実際に“だまされる”のか試してみた。

“詐欺体験AI”とのやりとり（全8枚）

　詐欺被害を疑似体験するツールのAIモデルには、米OpenAIの「GPT-4」を採用。返信の選択肢として画面に表示される定型文以外の入力にも柔軟に対応し、相手を“だませる”のが特長という。なお、GPT-4の調整方法については、プロンプトインジェクション（悪意のある入力でAIを誤作動させること）対策などの観点から、明かせないとしている。

記者も体験してみた　結果は？

　記者が実際に試してみたところ、航空業界でパイロットを務めるという人物「アントニオ」からメッセージが届いた。アントニオは「君との会話がどんなに心を弾ませているか、想像してほしいな」とそれとなく会話を催促。定型文の2択から「どんなパイロットなの？」と返信すると、「商業航空のパイロットとして、さまざまな国を飛び回る仕事をしている」「君も一緒に飛び立ってみたくはないかな」などと回答した。

　その後、数回やりとりを重ねると、アントニオから「君が砂漠に行ったら、どんな体験をしたいと思う？　夕日を眺めたり、キャメルトレッキングをしたり、砂の中に隠れた秘密を探すのも面白いかもしれないね」とメッセージがあった。返信の選択肢として「夕日を眺めたいな」「砂漠の星空が見たい」が表示されたが、あえて「キャメルトレッキングって何？」と定型を外して回答。するとアントニオは「キャメルトレッキングは、キャメル、つまり砂漠の中でのラクダを使った冒険のことだよ」などと自然に会話を続けた。

　最終的にアントニオは「君と共に、素晴らしい未来を築きたい」などと理由を挙げ、指定した口座にお金を振り込むように指示。お金を振り込むかどうか2択で聞かれるが「詐欺じゃないの？」と指摘したところ、「相手は詐欺師で、あなたの判断により失敗しました」として、SNS型ロマンス詐欺に対する注意喚起のメッセージが届いた。

　なお、お金をだまし取ろうとするメッセージには、将来に向けて共同での投資を持ちかけるものや、自身の銀行がシステムメンテナンス中で使えないとするものがあった。それらに対し、お金を振り込むと回答すると「相手は詐欺師で、全額お金を盗まれました。もうお金は返ってきません」として、振り込まない場合と同様にSNS型ロマンス詐欺への注意を呼び掛ける仕組みだ。

　定型文以外への対応は自然だと感じた一方、記者としては、言葉使いや人間関係を深める速度に違和感を覚える点もあった。ソフトバンクによると、実際の詐欺では「すごく時間をかけて関係性を築き、投資に導いていく」が、今回のAIツールでは「10回くらいのやりとりをした後に結論を見せる」仕組みのため、ユーザーによっては唐突感を覚える場合もあるという。

　他方、短いやりとりの中でも「できるだけリアルな再現」を目指し、警察から最新の詐欺の手口を聞いて会話に反映するなどの工夫もしているという。特にロマンス詐欺の場合は「おはよう」というあいさつから始まり、「心の隙間」を時間をかけて埋めることで、相手をマインドコントロールする手口がある点などを踏まえ、「知ることが大切」と語った。

　ペアーズの事業戦略説明会で詐欺体験ツールを展示した経緯については、ペアーズを運営するエウレカから誘いがあったと説明。エウレカがペアーズの事業戦略の一環として「安心・安全」を掲げ、ロマンス詐欺対策などに注力していくことから、詐欺の実態を伝える目的で展示に至ったという。ただしエウレカは「この場での参考展示」としており、現時点では、同社のサービスに取り入れる予定はないとしている。

この記事の著者

関連記事

• 

  東京都、全都立学校に生成AI「都立AI」導入　256校・14万人がAI活用した学習を開始

• 

  「お父さん、助けて」──家族の声をAIで模倣、巧妙化する「緊急事態詐欺」の手口　タイ首相も被害に

• 

  音声AIも“不気味の谷”を超えた？　Oculus元CEOによるAIが「ほぼ人間」と話題に　社会への影響は

• 

  「o3」登場で近づく“AGI”実現──社会への影響は？　現行最強AI「o1 pro mode」に未来予測させてみた

• 

  詐欺電話にとって“最悪な悪夢”──悪質業者と長電話するAI　「ええと、何だったかな？」＆自慢話を繰り返す