Innovative Tech

顔から感情をリアルタイムで読み取り分類　深層学習技術で

　韓国Samsung AIと英インペリアル・カレッジ・ロンドン（ICL）の研究チームが開発した「Estimation of continuous valence and arousal levels from faces in naturalistic conditions」は、動画内の表情から感情をリアルタイムに予測する深層学習フレームワークだ。

　人間は一般的に、怒り、幸せ、悲しみなどの「カテゴライズされた感情」だけでなく、Valence（ポジティブか、ネガティブか）とArousal（興奮しているか、落ち着いているか）という「連続的な感情」を読み取るという。怒っている状態は興奮していてネガティブ、気持ち悪いと感じている状態はやや興奮でネガティブ、リラックス状態は落ち着いていてポジティブ、つまらない状態は落ち着いていてネガティブなど、次の円環図で表示できる。

　これらの値を顔から予測することは、人間は自然にできるが、コンピュータにとっては困難だ。今回の手法は、「カテゴライズされた感情」と「連続的な感情」の両方を同時に予測する単一の深層学習ネットワークを提案するというもの。

　まず、表示される全ての顔を検出器で捉え、バウンディングボックス処理を行う。次に背景を除去するためのトリミング、各顔のランドマーク検出を行い、得られた顔データを深層学習アルゴリズムで解析。解析された感情結果は、顔の周囲にテキストとゲージでリアルタイム表示する。

　3つの顔データセットを使い既存手法と比較した評価実験では、どのデータセットでも本手法の方が優れていることを示したという。

　留意点は、顔の表面に現れる表情のみから分析するため、見た目は笑っているけど心では怒っているといった隠れた感情を解析できないこと。また感情表現は普遍的ではなく、文化的背景によって解釈が異なるため、訓練データによっては偏りが出ることが挙げられた。

　今回の手法は一般的な単眼カメラからの映像を入力に使用しているため、さまざまな分野において容易に活用できるという。例えば、企業であれば製品や広告に対するユーザーの反応を数値化できるだろう。精神医学では、統合失調症、うつ病、自閉症スペクトラム障害などの兆候や状況を分析できるかもしれない。

この記事の著者

関連記事

• 

  スクリーンが動いても高速追従　液体レンズを使ったAFプロジェクションマッピング

• 

  20機の小型ロボット群をハンドジェスチャーで直感操作　スタンフォード大など開発

• 

  一般人が撮影したネット上の写真から建物を高品質に3D化するGoogleの機械学習技術