顔の動きをリアルアバターで忠実に再現 Facebookなどがマーカーレス技術開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米Facebook Reality Labsと米ロチェスター大学の研究チームが開発した「Real-time 3D Neural Facial Animation from Binocular Video」は、2眼のWebカメラを使い、3Dアバターの表情を忠実かつリアルタイムに再現するシステムだ。マーカーレスで、シワや歯、舌などの細部の動きまでリアルに再構築する。

Webカメラで撮影した表情（上）、入力画像の顔の動きに応じてアニメーション化した3Dアバターの表情（下）

システムの概要

　実験では、学習したモデルを使って入力画像と同じ表情でアバターを動かし、その精度を評価したが、まぶた、視線、唇の形、シワ、歯、舌を含む表情の詳細な動きを高い忠実度で再現できた。多様な照明条件下にも対応し、眼鏡をかけていても高い精度を維持したという。

　類似する最先端の技術と比較しても表情の再現度が高く、アバターの照明を後で変更できるため実用性も高い。マーカーレスで顔の動きを再現する方法において高い有効性を示したとしている。

　現在は表情のアニメーションのみをモデル化しているが、将来的には、髪、首、肩を含めた上半身の動きへと拡張したいという。