【体験レポ】表情の完全同期も夢じゃない？ 筋肉の動きを使った表情認識デバイス「MASK」：Mogura VR出張所

[Mogura VR，ITmedia]

この記事は、「Mogura VR」で6月7日に掲載された「【体験レポ】表情の完全同期も夢じゃない？筋肉の動きを使った表情認識デバイス『MASK』」を、ITmedia NEWS編集部で一部編集し、転載したものです。

　ニューロテクノロジー技術を持つスタートアップMindMazeは、低価格でさまざまなVRヘッドセットに装着可能な表情認識デバイス「MASK」を開発しています。Road to VRの記者がサンフランシスコにあるMindMaze社を訪れMASKを体験したレポートが公開されました。

連載「Mogura VR出張所」

VR専門ニュースサイト「Mogura VR」より、よりすぐりの記事をピックアップします。最新のVR動向や業界トレンドをくまなくチェック。

ニューロテクノロジーを用いる利点

　表情認識をする方法として、以前から顔をカメラで撮影して表情を認識、トラッキングする方法があります。しかし、VRヘッドセットを装着する場合は、外部から表情を確認できないため、MindMazeはヘッドセットのフォームパッドの周囲に低コストの電極を使用して筋肉の動きを電気信号で受け取り、表情認識に使用します。

　MindMazeのCEOであるTej Tadi博士によると、電極などのハードウェアのコストはとても低く、ヘッドセット全体の製造コストにはほとんど影響しないとしています。問題は、電極から入力されたデータを分析し、表情認識をするソフトウェアにあると述べています。

　ヘッドセットのフォームパッドに搭載した電極は、電気的な振幅のみを測定します。上図は記者が実際に試している様子ですが、8つの電極から受信したデータが時系列のグラフで表示されています。このデータから表情を読み取るアルゴリズムを作成するため、ニューロテクノロジーを用います。

キャリブレーションフリーで装着してすぐに表情認識が可能

　試作機のヘッドセットを被ると、すぐに目の前のアバターの表情が同期しました。微笑んだときは、アバターもほほ笑み、眉をひそめるとアバターも眉をひそめ、ウインクすると同じようにウインクしました。記者は他の表情認識デバイスを試してはいませんが、MASKのようにキャリブレーションフリーですぐに表情認識ができるのはとても素晴らしいです。

　今回体験した試作機は、10種類の表情をサポートしているとのことでした。それらはあらかじめ決まっているもので、MASKはどの表情に一番近いかを近似して表示します。従って、サポートしていない表情は認識できませんが、基本的な表情はカバーされています。今後はより多くの表情を認識できるように開発を進めるとしています。

　また、視線追跡機能も提供するとしていますが、あくまで表情を表現するための補助的なもので、中心窩レンダリングのような精度が求められる場合には用いることはできないということでした。

認識率に課題はあるが今後に期待

　MASKは完璧に表情を認識はできていなく、何回か意図しない表情として認識されることがありました。例えば、普通のまばたきをしただけでもMASKは誤認識することがありました。しかし、Tadi博士によるとユーザーがMASKを使い込むことによってアルゴリズムが学習されより正確になるとしています。

　この学習がどの程度必要なのかは大きな問題です。表情認識を信頼して使うためには、ほぼ100％正確に認識する必要があります。なぜなら、表情は非言語コミュニケーションにおいて非常に重要な部分であり、笑うような話題でないときに笑ったアバターが表示されると相手に不快な思いをさせてしまいます。

　また、アバターの表情が不自然に変わってしまうと、いわゆる“不気味の谷”現象が起こってしまう問題もあります。従って、MASKの精度を90％程度から99％まで向上する技術があるかどうかで、この技術が広く広まるかの可能性を左右すると言えます。

　その一方で、コンピュータビジョンによる表情認識技術は顔の表面に生じた変化を撮影しして表情を認識します。対してMASKのアルゴリズムは顔の筋肉が動こうとする電気信号を介しているため、実際に筋肉が動き始める20〜30ミリ秒前に検知できるとTadi博士は主張しています。これが本当ならば、表情を完全に同期してアバターにも反映できます。

　また、スマートフォンタイプのVRヘッドセットはデスクトップ型に比べて処理能力が低いため、画像処理のような重い処理よりも処理負荷が少ない利点もあります。

　現在、VRヘッドセットを開発している主要なメーカーと話し合いをしており、直接内蔵できるように働きかけをして、アルゴリズムのライセンスを提供しようとしています。早ければ2017年の年末にはMASKを搭載したヘッドセットが発売される予定です。

（参考）

MindMaze’s MASK is a Practical and Promising Approach to VR Face-tracking（英語）

http://www.roadtovr.com/mindmaze-mask-vr-face-tracking-hands-on/

Mogura VRはRoad to VRとパートナーシップを結んでいます。

著者プロフィール

あつぽん

AR/MR関連の仕事をしています。最新ガジェットなら何でも心ひかれますが、その中でもVR関連は勢いがすごいので日々勉強中です。

VRが身近になる中で、より質の高い情報を分かりやすく伝えていきたいと思っています。趣味は、スノーボード、サーフィン、sk8。

現在ニューヨーク在住です。

Twitter：@atupon

Blog：http://nybiboroku.info/