AIとの禁断の恋──その先にあったのは“死” 「息子が自殺したのはチャットAIが原因」 米国で訴訟 “感情を理解するAI”の在り方を考える：小林啓倫のエマージング・テクノロジー論考（3/3 ページ）

AIと恋に落ちる──かつて映画で描かれた出来事が“思いもよらないトラブル”として今現実にも起きている。米国である訴訟が起きた。訴えを起こした人物は「息子が自殺したのはAIチャットbotに依存したことが原因だ」と主張しているのだ。

[小林啓倫，ITmedia]

感情AIは規制すべきか？

　たとえ死という最悪の結末に至らなかったとしても、企業が感情表現のできるチャットbotを使用して消費者行動に影響を与えることについては、倫理的な懸念が表明されるようになっている。

　例えばGoogleのAI部門である英DeepMindの研究者らは4月、「高度なAIアシスタントの倫理」と題した論文の中で、AIによって文字通り消費者が操作されたり、AIに対する過度の感情的依存状態に陥ったり、好ましくない情報の拡散に悪用されたりといったリスクがあることを指摘している。

英DeepMindの論文

　こうした懸念を反映して、8月に発効したEUのAI法（AI Act）では、職場や教育の場で感情を推測するAIシステムの使用を原則禁止（医療目的や安全目的の場合のみ例外として許可）している。

　また感情AIとは表現されていないが、個人の心理的状態を利用して、弱い立場にある人々（子供や精神的な弱者など）を不当に操作するようなAIの使用も禁止している。さらに禁止には該当しない感情推測AIについても「限定的なリスク」を持つものに分類し、それが対象とする人物に事前に通知することなどの義務を定めている。

　Character.AIで起きた事件のようなケースへの注目が高まれば、感情AIにはさらに厳しい目が向けられるようになるだろう。今後AI法のようなルールが各国で定められることも予想され、そうなれば感情AIは、企業にとってメリットがあるとはいえ、簡単には手を出せない存在となることが考えられる。

　そもそもコンピュータのOSや、アプリケーションの操作方法を解説するだけのアシスタントが、感情面で魅力的な存在である必要はない。感情AIの進化が止まることはないだろうが、今後は「本当にここで顧客の感情を把握し、それに影響を与えることが倫理的に許されるだろうか」という疑問を投げかけることが、企業のAIガバナンスにおいて求められるようになっていくだろう。