“AIが人間を査定”は差別につながる？ 米保険会社の炎上事例から考える「AIガバナンス」：【新連載】事例で学ぶAIガバナンス（2/3 ページ）

[小林啓倫，ITmedia]

「AIが人間を判断」は差別につながる？　Twitterで炎上したレモネード保険

　米国の保険会社レモネードは、いわゆるインシュアテック（InsurTech）、すなわちIT技術を使って新たな保険サービスを提供するスタートアップだ。同社の共同創業者であるダニエル・シュライバーCEOは、レモネードが「AIと行動経済学の上に成り立つ」企業であると表現していて、実際にさまざまな形で保険分野におけるAI活用に取り組んできた。

米国の保険会社レモネード

　例えば、同社のスマホアプリでは自社開発のチャットbot「AI Jim」がユーザーとのやりとりを行う。アプリ上でいくつかの質問に答えていくと、その回答に基づき、AIがそれぞれのユーザーにカスタマイズされた保険を提案してくれる。最近では同様の仕組みは珍しくないが、レモネードがアプリを発表したのは17年だ。

　このチャットbotには自然言語処理技術も活用されていて、ユーザーが入力したテキストを解釈し、適切な回答を返せるようになっている。同じく17年の同社のブログ記事では、「ユーザーは契約内容の変更や複雑な質問を、AIを通じ、全て自然言語で行うことができる」とアピールしている。

レモネードが2017年に掲載したブログ記事

　またシュライバーCEOは、23年2月に投資家に対して行ったオンライン会議で「保険金請求手続きの98％がAI Jimとの会話から始まる」と説明。さらに「AI Jimが最初から最後まで対応できるクレームは40％程度で、そこには人間の介入が全く必要ない」としている。

　このように、レモネードは決してAI活用に不慣れな企業ではない。そんな同社だが、21年5月にある“炎上”事件を起こしている。発端となったのは、同社の公式Twitterアカウントが投稿した一連のツイートだ。彼らが開発したAIを紹介する中で、次のような解説がなされている（現在は削除、スクリーンショットはアーカイブから）。

炎上したツイートのスクリーンショット

　シュライバーCEOの解説の通り、レモネードでは、契約者からの保険金請求の大半をAIが処理している。例えば、損害保険の契約者は保険金の支払い対象となる事故が起きた際、その説明を動画に撮って送るだけで書類作業不要で振り込みを要求することができる。その動画をAIがどう処理しているかという解説なのだが、こう述べられている。

例えば、ユーザーが保険金請求を行う際、彼らは携帯電話を使って何が起きたのかを説明する動画を撮る。私たちのAIはそれを慎重に分析して、不正の兆候を探る。AIは非言語的な手掛かりに気付くことができるが、従来の保険会社はそれを把握できない。彼らの保険金請求処理はデジタル化されていないからだ。

　また一連のツイートの中で、レモネードはユーザーについて収集するデータポイントが1600以上あり、従来の保険会社に比べて100倍のデータを集めていると宣言している。

　このツイートに対し、専門家を含む多くの人々から懸念の声が上がった。顔認識技術や感情分析の精度は近年飛躍的に向上しているが、まだ100％正確というわけではなく、有色人種において誤認率が高いことが知られている。

　「非言語的な手掛かり」が何を指すのかは明確には示されていないが、例えばちょっとした顔のしぐさから不正か、不正ではないかが判断されてしまうのであれば、本当は受け取れるはずの保険金が支払い拒否されてしまうかもしれない。そうしたミスが特に有色人種の間で多く発生するとなれば、それは彼らに対する差別の問題にもつながるだろう。

　実際レモネードは、先ほどの一連のツイートの中で、こうしたAIによる分析で不正請求による損害率が大幅に減ったとアピールしていた。そのため「レモネードは差別的な対応をしてもうけているのではないか」という反発が広がってしまったのである。

　慌てたレモネードは当該ツイートを削除し、次のような謝罪ツイートを掲載している。

　一連のツイートの中で同社は、「身体的・個人的特徴を利用して支払い要求を否定するAI（骨相学／人相学）は使用していませんし、開発しようともしていません」、またAIが「経歴、性別、外見、肌の色、障害、またはあらゆる身体的特徴に基づいて保険金請求を評価することはありません（また、これらのいずれかを代替となるデータで評価することもありません）」と釈明している。