このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米MicrosoftのMixed Reality & AI Labの研究チームが開発した「FLAG: Flow-based Avatar Generation from Sparse Observations」は、VR HMD(ヘッドマウントディスプレイ)から得られる頭部と手部のトラッキングデータから、着用者の全身の動きを3次元で表現する手法だ。
Microsoft HoloLensやMeta QuestなどのHMDから得られる追跡データは、頭の位置と向き、手の位置と向きの予測に限られる。これらの信号は貴重である一方、着用者の全身を表現できないため忠実な3Dアバターを生成することは難しい。
研究では、これらHMD信号からもっともらしい全身人物のポーズを生成する新しいアプローチを提案し、この課題に取り組む。
提案手法は、疎な入力に対する条件付き正規化フローに基づく。具体的には、3次元ポーズ分布と基底分布の間の可逆的なマッピングを可能にするフローベースのモデルによって、頭部と手部のデータを与えられた全身ポーズの条件付き分布を学習する。
また3次元人体の条件付き分布を学習するだけでなく、観測データから潜在空間への確率的マッピングを学習し、そこから関節の不確実性推定を行い、もっともらしいポーズを生成する。
実験評価とアブレーション研究により、今回の手法は、SMPL身体モデルで表現した多様な全身ポーズを持つ大規模モーションキャプチャーデータセットAMASSにおいて、最新の手法をしのぎ、より少ない最適化で非常に低い誤差をもたらすことを実証した。
Source and Image Credits: Sadegh Aliakbarian and Pashmina Cameron and Federica Bogo and Andrew Fitzgibbon and Thomas J. Cashman “FLAG: Flow-based 3D Avatar Generation from Sparse Observations” Computer Vision and Pattern Recognition 2022.
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR