リアルな眼球の動きをVRアバターで再現 Facebookが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米FacebookのReality Labs研究チームが開発した「The Eyes Have It」は、リアルな眼球運動をVR上のアバターに反映させる、深層学習ベースのシステムだ。

本手法でレンダリングされたアバター

　遠隔地の人とVRを通してアバターで対話するテレプレゼンスにおいて、リアルな視線と正確なアイコンタクトを取り入れることは、実在感や没入感などの向上につながるとされている。

　これらを達成するために、本手法ではVRヘッドセットに装着した内部カメラで視線の方向を追跡し、正確な表情をアニメーションに反映するための顔モデルを構築する。リアルさを追求するため、特に眼球の動きと同時に動作する眼の周辺領域を含む顔の動きを一致させることに注力している。

　精度を高めるために、顔モデルを左目、右目、顔に分離し、左右の目を独立して制御できるようにする。視線は検出器で捉え、各フレームの眼の向きを推定する。これらの推定値を用いて、眼球とまぶたなど周辺領域の外観を共同で学習するモデルで形状とテクスチャを作成する。

本手法のパイプライン

　このように学習したモデルは、高い品質で動く眼球とそれに伴う顔の動きを再現し、VRヘッドセット着用者の表情をアバターにリアルタイムで反映させることに成功したという。

リアルタイム駆動のパイプライン

　類似研究と比べても定量的に良好な結果を示し、不自然な部分が少なく、アバターの臨場感が大幅に向上することを示したとしている。

　動画はこちら。