顔から感情をリアルタイムで読み取り分類 深層学習技術で：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　韓国Samsung AIと英インペリアル・カレッジ・ロンドン（ICL）の研究チームが開発した「Estimation of continuous valence and arousal levels from faces in naturalistic conditions」は、動画内の表情から感情をリアルタイムに予測する深層学習フレームワークだ。

本手法の出力結果。おでこ付近に「カテゴライズされた感情」が表示され、横のゲージにArousal、下のゲージにValenceと「連続的な感情」が表示されている

　人間は一般的に、怒り、幸せ、悲しみなどの「カテゴライズされた感情」だけでなく、Valence（ポジティブか、ネガティブか）とArousal（興奮しているか、落ち着いているか）という「連続的な感情」を読み取るという。怒っている状態は興奮していてネガティブ、気持ち悪いと感じている状態はやや興奮でネガティブ、リラックス状態は落ち着いていてポジティブ、つまらない状態は落ち着いていてネガティブなど、次の円環図で表示できる。

自然体を中心に、縦軸がArousal、横軸がValence、周囲にカテゴライズされた感情が配置する円環図

　これらの値を顔から予測することは、人間は自然にできるが、コンピュータにとっては困難だ。今回の手法は、「カテゴライズされた感情」と「連続的な感情」の両方を同時に予測する単一の深層学習ネットワークを提案するというもの。

　まず、表示される全ての顔を検出器で捉え、バウンディングボックス処理を行う。次に背景を除去するためのトリミング、各顔のランドマーク検出を行い、得られた顔データを深層学習アルゴリズムで解析。解析された感情結果は、顔の周囲にテキストとゲージでリアルタイム表示する。

提案手法のパイプライン

ケース1の出力結果。円環図では赤点が左上に寄り興奮とネガティブの怒りを示している

ケース2の出力結果。円環図では赤点が右に寄りナチュラルな幸せを示している

ケース3の出力結果。円環図では赤点が右上に寄り興奮とポジティブの驚きを示している

　3つの顔データセットを使い既存手法と比較した評価実験では、どのデータセットでも本手法の方が優れていることを示したという。

　留意点は、顔の表面に現れる表情のみから分析するため、見た目は笑っているけど心では怒っているといった隠れた感情を解析できないこと。また感情表現は普遍的ではなく、文化的背景によって解釈が異なるため、訓練データによっては偏りが出ることが挙げられた。

　今回の手法は一般的な単眼カメラからの映像を入力に使用しているため、さまざまな分野において容易に活用できるという。例えば、企業であれば製品や広告に対するユーザーの反応を数値化できるだろう。精神医学では、統合失調症、うつ病、自閉症スペクトラム障害などの兆候や状況を分析できるかもしれない。