Innovative Tech
リアルな眼球の動きをVRアバターで再現 Facebookが開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米FacebookのReality Labs研究チームが開発した「The Eyes Have It」は、リアルな眼球運動をVR上のアバターに反映させる、深層学習ベースのシステムだ。
本手法でレンダリングされたアバター
遠隔地の人とVRを通してアバターで対話するテレプレゼンスにおいて、リアルな視線と正確なアイコンタクトを取り入れることは、実在感や没入感などの向上につながるとされている。
これらを達成するために、本手法ではVRヘッドセットに装着した内部カメラで視線の方向を追跡し、正確な表情をアニメーションに反映するための顔モデルを構築する。リアルさを追求するため、特に眼球の動きと同時に動作する眼の周辺領域を含む顔の動きを一致させることに注力している。
精度を高めるために、顔モデルを左目、右目、顔に分離し、左右の目を独立して制御できるようにする。視線は検出器で捉え、各フレームの眼の向きを推定する。これらの推定値を用いて、眼球とまぶたなど周辺領域の外観を共同で学習するモデルで形状とテクスチャを作成する。
本手法のパイプライン
このように学習したモデルは、高い品質で動く眼球とそれに伴う顔の動きを再現し、VRヘッドセット着用者の表情をアバターにリアルタイムで反映させることに成功したという。
リアルタイム駆動のパイプライン
類似研究と比べても定量的に良好な結果を示し、不自然な部分が少なく、アバターの臨場感が大幅に向上することを示したとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
「Xが情報収集に役立たない……」熊本地震で不満の声続出 「Twitterを返して」
-
3
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
4
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
5
Z世代に聞く次の流行、「AIイラスト」が1位に 「Claude Code」も上位
-
6
東野圭吾さん死去、Xなどで追悼相次ぐ 「ガリレオ」など数々の人気作、エンジニアから転身
-
7
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
8
NVIDIAやMicrosoftなど30社超、オープンAIの防御ツール共同開発の「Open Secure AI Alliance」設立
-
9
「あ、その情報メモしたい！」を叶えるワイヤレスイヤフォン、Nothing「Ear (3a)」
-
10
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR