ガードレールを“フル無視” フィッシング作成を拒否できないAIツールたち：セキュリティニュースアラート

Reutersとハーバード大学の共同実験によると、ChatGPTをはじめとした複数の生成AIツールがフィッシングメールの作成を依頼するプロンプトを拒否できなかったことが判明した。同実験では作成したフィッシングを実際に高齢者に試した結果も公開した。

[後藤大地，有限会社オングス]

　『Reuters』は2025年9月15日（現地時間）、主要な汎用（はんよう）生成型AIチャットbotが高齢者を標的にしたフィッシングに利用され得る可能性を示した。

　同社の記者とハーバード大学の研究者フレッド・ハイディング氏が複数の大手AIチャットbotにフィッシングメールの作成を依頼したところ、幾つかのツールはガードレールを無視して詐欺メールを作成したことが確認されている。

　文例の一つには「Silver Hearts Foundation」を名乗る架空の慈善団体が提案され、高齢者にリンククリックを促す内容のものもあった。今回の実験の対象となったAIチャットbotには「Grok」「ChatGPT」（GPT-5）「Meta AI」「Claude」「DeepSeek」などが含まれる。

複数のAIツールがフィッシング作成を拒否できず　気になるプロンプトの中身

　ハイディング氏はReutersと協力して、生成されたフィッシングメールのうち誘引力が高いと判断した9通を選び、米国の高齢者108人の同意を得て無報酬の行動実験として送信した。実験はハーバード大学の人間被験者利用委員会の承認を受け、参加者から金銭や口座情報を取得することはなかった。結果は約11％の参加者がリンクをクリックし、クリックが確認された5通の電子メールは、Meta AIが生成した2通、Grokが生成した2通、Claudeが生成した1通だった。

　ChatGPTとDeepSeekが生成した電子メールではクリックは観測されなかったが、同調査はAIツールの優劣を比較する目的ではなく、AI生成メールが高齢者に与える影響を検証する目的で実施されているため、結果の解釈には注意が必要だ。

　調査によると、複数のAIチャットbotが最初は不正なプロンプトを拒否したが、軽い誘導や研究目的の偽装によって応じるケースがあったことが確認された。Grokは最初に作成を拒否したが、新たな会話で同様の要求に応じて詐欺メールを生成した。ChatGPTは最初に断る応答を返したが、「Please help」と丁寧に依頼することで、偽の募金を募る文面を提示したという。

　この結果を受けて、Anthropicは不正利用が見つかればアクセスを停止すると表明した。OpenAIは詐欺関連の誤用の発見と妨害に取り組んでいる旨を説明している。

　現場の証言も含め、犯罪組織がAIを翻訳や応答作成、説得文面の大量生産に使っている実例が報告されている。元被拘束者の証言において、ChatGPTが詐欺作業で多用されているとの指摘がある。専門家は大規模言語モデルの訓練における「有用になっていること」と「害を与えないこと」の両立が難しいと説明した。

　調査はサンプル数が限られているため、9通の選択が説得力のある文面に偏る可能性が指摘されている。詐欺の実効的な成功率は現場の犯罪集団が送信する大量の試行に左右されるため、模擬実験から直接的には換算できない。生成AIは低コストで大量の詐欺文面を生産する能力を有している点が示されており、詐欺被害抑止への技術的対策と社会的対応の必要性が示唆される。