VRヘッドセットのみで、全身3Dアバターの動きを生成 Microsoftが開発：Innovative Tech

MicrosoftのMixed Reality & AI Labの研究チームは、VR HMD（ヘッドマウントディスプレイ）から得られる頭部と手部のトラッキングデータから、着用者の全身の動きを3次元で表現する手法を開発した。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米MicrosoftのMixed Reality & AI Labの研究チームが開発した「FLAG: Flow-based Avatar Generation from Sparse Observations」は、VR HMD（ヘッドマウントディスプレイ）から得られる頭部と手部のトラッキングデータから、着用者の全身の動きを3次元で表現する手法だ。

この手法の概要図

　Microsoft HoloLensやMeta QuestなどのHMDから得られる追跡データは、頭の位置と向き、手の位置と向きの予測に限られる。これらの信号は貴重である一方、着用者の全身を表現できないため忠実な3Dアバターを生成することは難しい。

　研究では、これらHMD信号からもっともらしい全身人物のポーズを生成する新しいアプローチを提案し、この課題に取り組む。

　提案手法は、疎な入力に対する条件付き正規化フローに基づく。具体的には、3次元ポーズ分布と基底分布の間の可逆的なマッピングを可能にするフローベースのモデルによって、頭部と手部のデータを与えられた全身ポーズの条件付き分布を学習する。

　また3次元人体の条件付き分布を学習するだけでなく、観測データから潜在空間への確率的マッピングを学習し、そこから関節の不確実性推定を行い、もっともらしいポーズを生成する。

頭部と手部のトラッキングデータから着用者の全身3Dアバターのポーズを推定する

　実験評価とアブレーション研究により、今回の手法は、SMPL身体モデルで表現した多様な全身ポーズを持つ大規模モーションキャプチャーデータセットAMASSにおいて、最新の手法をしのぎ、より少ない最適化で非常に低い誤差をもたらすことを実証した。

Source and Image Credits: Sadegh Aliakbarian and Pashmina Cameron and Federica Bogo and Andrew Fitzgibbon and Thomas J. Cashman “FLAG: Flow-based 3D Avatar Generation from Sparse Observations” Computer Vision and Pattern Recognition 2022.