　公立はこだて未来大学平田竹川研究室、個人のメディアアーティスト徳田雄嵩氏、慶応義塾大学杉本研究室、杉浦研究室、英ユニバーシティ・カレッジ・ロンドンInteraction centreによる研究チームが開発した「デジタルカメン e2-MaskZ」は、顔の前面に装着し、着用者の表情をリアルタイムでアバターに反映させる薄型のフルフェイスマスクディスプレイだ。

デジタルカメンの装着例

　顔の表情をアバターに転送する技術はこれまでも盛んに研究されてきたが、バーチャル環境での活用が多かった。今回のアプローチは、昨今のコロナ禍対策を兼ねた対面コミュニケーションでの利用を目指すものだ。

　そのため、日常的に着用できるように軽量な薄型ディスプレイを採用。一般的な布マスクやフェイスシールドの強化版として、防護マスクのようなフルフェイスでありながら表情も伝える。

装着しながら対面コミュニケーションをする様子

おしゃべりも表情豊かに

　デジタルカメンには、前面に表情が出力される薄型有機ELディスプレイ、裏面に近距離で表情を認識するための光反射型センサーアレイが組み込まれている。

40個の特徴点で表情を捉える光反射型センサーアレイ

　光反射型センサーアレイは、40個の特徴点で中の人の表情（主に眉毛、頬、目、口）をミリ単位で測定する。表情が変わるとセンサーと皮膚との距離が変化する特徴を用い、教師あり学習のサポートベクターマシン（SVM）により、10種類の表情に分類する。

　会話時を想定しているため、感情を表す表情だけでなく、発話時（母音発音時）の口の動きも分類している。実験では、平均79%の分類精度を達成し、被験者からは自分の発話が反映されているという感触も得られた。

実験で使用した10種類の表情

着用者の表情の遷移を反映した一連のアバターアニメーション

驚きの表情

困った表情

　将来は10種類の表情だけでなく、視線の方向やまばたきを識別するなど、よりリアルな表情を再現したいという。

　今回のアプローチでは感染防止の活用例を打ち出しているが、筋萎縮性側索硬化症（ALS）患者の多様な表情の生成、小児患者の歯科治療時における不安軽減、面接官の顔を制御したリラックス空間の面接環境、接客業における感情労働の軽減など、さまざまな応用も想定している。

デジタルカメンe2-MaskZを用いた活用例

　動画はこちら。

　この研究「Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays」の詳細は11月9～13日に開催される国際学会IEEE ISMAR 2020で口頭発表を予定している。