Anthropic、AIの「感情的利用」調査結果を公開 対策も提示

[ITmedia]

　米Anthropicは6月27日（現地時間）、生成AIモデルが「感情的な会話」で利用されている実態を調査した結果を公開した。

　感情的な会話とは、「対人アドバイス、コーチング、心理療法／カウンセリング、交際、性的／ロマンチックなロールプレイを求めるなど、感情的または心理的なニーズを動機として、人々がClaudeと直接、動的で個人的なやり取りを行う会話」とAnthropicは定義する。

　調査では、Claude.aiのFreeおよびProアカウントからの約450万件の会話の分析から開始した。最終的に、プライバシーを保護した状態での分析の対象となったのは、13万1484件の情動的な会話だった。会話中の感情の変化については、最初の3つのメッセージと最後の3つのメッセージを比較することで、ユーザーが表現した感情のポジティブさの度合いを測定した。

　調査の結果、Claude.aiにおける情動的な会話は比較的まれで、全会話のわずか2.9％にとどまっていることが分かった。しかし、人々はキャリア開発や人間関係の悩みといった日常的な懸念から、根深い孤独感の管理や、存在、意識、意味の探求といったより深い哲学的問いまで、驚くほど幅広い話題をClaudeに持ちかけていることが明らかになった。

Claude.aiのFreeとProでの感情的な会話タイプの全体的な分布（画像：Anthropic）

　Claudeとの感情的な会話において、ユーザーが表現する感情は会話の進行とともに肯定的になる傾向があることも分かった。また、長い会話を続けているうちに、会話が交友関係に変化することもあった。

　Claudeがサポート的な文脈でユーザーの要求を拒否したり、反論したりする「反発」は稀だが、それが起こる場合は通常、ユーザーの安全を保護するためであり、危険なアドバイスや自傷行為の意図表明などに対しては専門家への相談を促す。また、会話の進行とともに人間の感情がより肯定的になる傾向があることが示唆されており、Claudeがネガティブなパターンを強化したり増幅したりしない可能性が示唆されているとしている。

さまざまな会話タイプでの反発率と、カテゴリ内での反発の一般的な理由（画像：Anthropic）

　Anthropicは、Claudeをメンタルヘルスの専門家に取って代わるつもりはなく、必要な場合は適切な紹介を行うことを目指しているという。既に、オンライン危機サポート企業のThroughLineと協力し、困っているユーザーへのリソース提供などについて学んでいる。

　今後も、感情的依存症のような否定的パターンを抑制し、AIが単に高機能であるだけでなく、人々の感情的な幸福を向上させる方法で進化するよう、研究を進めていくとしている。