ITmedia NEWS > 社会とIT >
ニュース
» 2020年09月02日 15時15分 公開

Innovative Tech:顔の表情をアバターに即時反映して表示する画面付きフルフェイスマスク 「デジタルカメン」誕生

装着している人の表情がディスプレイに反映される仕組みは世の中に受け入れれられるか。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 公立はこだて未来大学平田竹川研究室、個人のメディアアーティスト徳田雄嵩氏、慶応義塾大学杉本研究室杉浦研究室、英ユニバーシティ・カレッジ・ロンドンInteraction centreによる研究チームが開発した「デジタルカメン e2-MaskZ」は、顔の前面に装着し、着用者の表情をリアルタイムでアバターに反映させる薄型のフルフェイスマスクディスプレイだ。

photo デジタルカメンの装着例

 顔の表情をアバターに転送する技術はこれまでも盛んに研究されてきたが、バーチャル環境での活用が多かった。今回のアプローチは、昨今のコロナ禍対策を兼ねた対面コミュニケーションでの利用を目指すものだ。

 そのため、日常的に着用できるように軽量な薄型ディスプレイを採用。一般的な布マスクやフェイスシールドの強化版として、防護マスクのようなフルフェイスでありながら表情も伝える。

photo 装着しながら対面コミュニケーションをする様子
photo おしゃべりも表情豊かに

 デジタルカメンには、前面に表情が出力される薄型有機ELディスプレイ、裏面に近距離で表情を認識するための光反射型センサーアレイが組み込まれている。

photo 40個の特徴点で表情を捉える光反射型センサーアレイ

 光反射型センサーアレイは、40個の特徴点で中の人の表情(主に眉毛、頬、目、口)をミリ単位で測定する。表情が変わるとセンサーと皮膚との距離が変化する特徴を用い、教師あり学習のサポートベクターマシン(SVM)により、10種類の表情に分類する。

 会話時を想定しているため、感情を表す表情だけでなく、発話時(母音発音時)の口の動きも分類している。実験では、平均79%の分類精度を達成し、被験者からは自分の発話が反映されているという感触も得られた。

photo 実験で使用した10種類の表情
photo 着用者の表情の遷移を反映した一連のアバターアニメーション
photo 驚きの表情
photo 困った表情

 将来は10種類の表情だけでなく、視線の方向やまばたきを識別するなど、よりリアルな表情を再現したいという。

 今回のアプローチでは感染防止の活用例を打ち出しているが、筋萎縮性側索硬化症(ALS)患者の多様な表情の生成、小児患者の歯科治療時における不安軽減、面接官の顔を制御したリラックス空間の面接環境、接客業における感情労働の軽減など、さまざまな応用も想定している。

photo デジタルカメンe2-MaskZを用いた活用例

 動画はこちら

 この研究「Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays」の詳細は11月9〜13日に開催される国際学会IEEE ISMAR 2020で口頭発表を予定している。

Copyright © ITmedia, Inc. All Rights Reserved.