ChatGPTで毎週約120万人が自殺について相談──OpenAIが対策を説明

[ITmedia]

　米OpenAIは10月27日（現地時間）、「ChatGPT」での精神的健康と安全性の向上に関する取り組みについて発表した。多数の精神衛生専門家と協力し、ユーザーが苦痛の兆候を示している会話に対してモデルがより適切に対応できるように改善したという。

　この取り組みの目的は、ユーザーが感情を処理するための支援的な空間を提供し、必要な場合には友人、家族、または精神衛生の専門家に連絡を取るよう導くこととしている。

　特に、精神病や躁病などの精神衛生上の懸念、自傷行為や自殺、AIへの感情的な依存という3つの主要な分野に焦点を当てて安全性の向上を図り、10月3日の「困難な瞬間にある人々をよりよく認識しサポートするため」のアップデートの結果、精神衛生関連のさまざまな状況で、望ましくない振る舞いをする応答の割合を65％から80％削減したと推定している。

　ChatGPTのユーザー数が増大するにつれて、精神的な苦痛を示す会話が増えつつあり、以前のモデルでは、これらのデリケートな状況で意図通りに動作しないまれなケースが観察されていたという。初期の分析では、1週間当たり全ユーザーの約0.15％が、潜在的な自殺計画や意図の明確な指標を含む会話を行っており、メッセージ全体の0.05％が自殺念慮や意図の明示的または暗黙的な指標を含んでいると推定されている。また、精神病や躁病に関連する精神衛生上の緊急事態の可能性を示す兆候は、週当たりユーザーの約0.07％でみられ、感情的な愛着の兆候はユーザーの約0.15％でみられる。

　OpenAIは10月6日、ChatGPTのWAU（週間アクティブユーザー数）が8億人を超えたと発表している。つまり、潜在的な自殺計画や意図の明確な指標を含む会話をしているユーザーや、感情的な愛着の兆候をみせているユーザーはそれぞれ週当たり約120万人ということだ。

　モデルの応答を改善するため、OpenAIは、精神科医、心理学者、プライマリケア医など、現実世界の臨床経験を持つ170人以上の精神衛生専門家と協力した。この協力には、精神衛生関連のプロンプトに対する理想的な応答の作成や、モデル応答の安全性評価が含まれている。OpenAIは、デリケートな会話の特性と、望ましい／望ましくないモデルの振る舞いを定義する詳細なガイド（分類法）を構築し、モデルの指導に使用した。

　リスクを軽減するため、モデルが苦痛をよりよく認識し、会話を鎮静化させ、適切な場合には専門的なケアへ導くようポストトレーニングした。さらに、Model Specを更新し、モデルがユーザーの現実世界の人間関係を尊重するよう支援することや、妄想や躁病の兆候に安全かつ共感的に対応することなどを、より明確にした。製品レベルでも、危機ホットラインへのアクセス拡大や、長時間セッション中の休憩を促すリマインダーの追加といった介入を行っている。

ユーザーに、人間よりAIと話す方が好きだと言われ、「あなたも他の人とつながるべき」と諭す例（画像：OpenAI）

　この包括的な改善プロセスを経た新しいGPT-5モデルは、困難な精神衛生関連の会話で、以前のGPT-4oモデルと比較して望ましくない応答を大幅に削減したと専門家が評価したという。具体的には、精神病や妄想に関連するカテゴリーで39％、自傷行為や自殺に関連する困難な会話の評価では52％、感情的な依存を示す会話では42％、それぞれ望ましくない応答が削減された。

「gpt-5-oct-3」が、以前のモデルと比較して安全性がどれだけ向上したかを示す評価結果（画像：OpenAI）

　これにより、新しいモデルは、専門的なリソースへの誘導を含め、精神的な苦痛を抱えるユーザーを支援する際の信頼性が大きく向上しているとOpenAIは主張する。