表情と声で感情を解析 富士通開発「空気の読める対話ロボット」と話してみた

カメラやマイクを使い、音声と表情を認識して、ユーザーの感情をAIで判別するロボットが「富士通フォーラム2018」で展示される。よりユーザーフレンドリーな対応をできるようにするのが狙いだ。

» 2018年05月16日 08時00分 公開
[高木理紗ITmedia]

 展示ブースに設置してあるロボットに「こんにちは」と話し掛けたら、「こんにちは。何か驚くようなことでもありましたか?」と返された。そう。このロボットは、私の表情から「驚き」の感情を読み取り、会話に生かしていたのだ。

 カメラやマイクを使い、音声と表情を認識することで、ユーザーの年齢や性別、感情をAIで判別し、相手に合わせた反応を返してくれる――2018年5月17、18日に開催される「富士通フォーラム2018」では、そんなデモを行うロボットが展示される。感情に寄り添ったコミュニケーションによって、よりユーザーフレンドリーな対応ができるという。

画像 富士通フォーラムで展示されていたロボット「unibo」。顔にある画面の右上のマイクが表示されたタイミングで話し掛けると、音声を認識する

ユーザーの感情をどうやって読み取るのか?

 デモに使われているロボットは、ユニロボットが開発した「unibo(ユニボ)」だ。富士通の「ロボットAIプラットフォーム」を搭載し、感情認識や自然対話といった機能を実現している。話しかけられると、搭載したカメラとマイクからユーザーの顔と音声のデータを取得し、富士通のクラウドに送信する。

 クラウド上では、富士通がsMedioと開発した「顔表情認識」および、Empathと開発した「音声感情認識」の2つを活用し、「20代男性」「30代女性」といったユーザーのおおまかな年齢や性別、そして「うれしい」「悲しい」「怒っている」などの感情を分析する。その結果とユーザーが話した内容を基に、対話エンジンで回答を構成する仕組みだ。発話に加え、「笑う」「困る」といった表情も見せてくれる。

 デモでは、unibo上部にあるディスプレイに対話のログを出しつつ、ロボットが撮影した画像から推測したユーザーの年齢と性別、そして、感情認識の結果を喜怒哀楽として円グラフで表示していた。

画像 ユーザーの性別や年齢、音声や表情から分析した感情を認識している様子
画像 「かわいい」と言ったところuniboはニッコリ。記者を「20代以下の女性」と認識した上での反応だ……と思う

「空気を読むAI」を目指す富士通

 同社は、2017年12月にロボットAIプラットフォームの提供を開始している。昨今、AIによる音声認識を活用したスマートスピーカーに注目が集まる中、彼らは、ユーザーの表情と音声の両面から感情を認識することで、より正確な判断や的確なコミュニケーションができる「空気の読めるAI」を目指している。

 「コンビニの店員が会計レジを打つ際、顧客属性を推定して入力しているが、AIが代わりに推定してもいい。よりユーザーフレンドリーな反応を返すことで、顧客との対話もスムーズになる」(説明員)

 ロボットAIプラットフォームは、ロボット本体の他、Bluetooth経由で血圧計やカメラといった外部センサーやデバイスとのデータ連携も行える。これを使えば、ユーザーの血圧や、ブースへの来場人数といった情報をロボットが伝えることも可能だ。もちろん、uniboのようなロボットを使わなくとも、クラウドへのアクセスさえできれば、タブレットなどでも同様の機能を利用できる。

画像 天気予報を伝えるunibo

 富士通は、AIやロボットの具体的な用途を検討する企業向けに、「ロボットAIプラットフォーム 実証パック for unibo」(税別64万8000円)を提供しており、今後は複数の自治体や企業を対象に、ロボットの活用を提案していくという。人の感情を推測し、寄り添えるようになることで、介護ビジネスなども含め、ロボットの使い道はこれまでよりも大きく広がるはずだ。

Copyright © ITmedia, Inc. All Rights Reserved.

注目のテーマ