身体の一部しか見えていなくても、全身を3Dモデル化 機械学習で：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米ミシガン大学の研究チームが開発した「Full-Body Awareness from Partial Observations」は、インターネット上で一般公開されている動画から、映像に映っている人物の3次元データを生成できる機械学習フレームワークだ。

身体が一部しか見えてなくても全身の3次元メッシュを再構築できる

　映像内の人物を3次元メッシュとして再現する手法はこれまでもあったが、インターネット上に公開されているような、物体などに体が隠れて見えない部分が多い動画には対応できなかった。

（左の青い四角）全身が見えるポーズデータセット。（右の緑の四角）一般的な動画は、身体の一部しか映っていないシーンが大多数だ

　今回の手法では、人物の3次元メッシュを復元する機械学習モデル「HMR」と「CMR」を用い、キーポイント（関節）数が少ない身体でも再構築できるように訓練する。

モデルのアーキテクチャ

　VLOG、Instruction、YouCookII、Cross-Taskという4つの機械学習用コンシューマービデオデータセットにアノーテーションを付けて評価したところ、VLOG上で学習した後のYouCookIIでは、HMRと比較して20.7%（画像外キーポイントで36.4%）、HMRと比較して10.9%（画像外キーポイントで19.1%）の改善が見られたという。

YoucookIIを用いた出力結果

Cross-Taskを用いた出力結果その他の出力結果

　動画はこちら。