ITmedia NEWS > 科学・テクノロジー >

VRヘッドセットのみで、全身3Dアバターの動きを生成 Microsoftが開発Innovative Tech

» 2022年03月09日 08時00分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 米MicrosoftのMixed Reality & AI Labの研究チームが開発した「FLAG: Flow-based Avatar Generation from Sparse Observations」は、VR HMD(ヘッドマウントディスプレイ)から得られる頭部と手部のトラッキングデータから、着用者の全身の動きを3次元で表現する手法だ。

この手法の概要図

 Microsoft HoloLensやMeta QuestなどのHMDから得られる追跡データは、頭の位置と向き、手の位置と向きの予測に限られる。これらの信号は貴重である一方、着用者の全身を表現できないため忠実な3Dアバターを生成することは難しい。

 研究では、これらHMD信号からもっともらしい全身人物のポーズを生成する新しいアプローチを提案し、この課題に取り組む。

 提案手法は、疎な入力に対する条件付き正規化フローに基づく。具体的には、3次元ポーズ分布と基底分布の間の可逆的なマッピングを可能にするフローベースのモデルによって、頭部と手部のデータを与えられた全身ポーズの条件付き分布を学習する。

 また3次元人体の条件付き分布を学習するだけでなく、観測データから潜在空間への確率的マッピングを学習し、そこから関節の不確実性推定を行い、もっともらしいポーズを生成する。

頭部と手部のトラッキングデータから着用者の全身3Dアバターのポーズを推定する

 実験評価とアブレーション研究により、今回の手法は、SMPL身体モデルで表現した多様な全身ポーズを持つ大規模モーションキャプチャーデータセットAMASSにおいて、最新の手法をしのぎ、より少ない最適化で非常に低い誤差をもたらすことを実証した。

Source and Image Credits: Sadegh Aliakbarian and Pashmina Cameron and Federica Bogo and Andrew Fitzgibbon and Thomas J. Cashman “FLAG: Flow-based 3D Avatar Generation from Sparse Observations” Computer Vision and Pattern Recognition 2022.



Copyright © ITmedia, Inc. All Rights Reserved.