自分でくるりと回るだけで精密な人物3Dモデル作成 1台のKinectで：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国・清華大学の研究チームが開発した「Robust 3D Self-portraits in Seconds」は、1台のRGB-Dカメラ（ カラー画像の他に深度画像を取得できるカメラ、今回はMicrosoft Kinect v2）から、衣服を着た人物の3次元モデルを効率的に再構築するフレームワークだ。対象人物が自分で数秒回るだけで、質感ある3次元データを生成できる。

1台のRGB-Dカメラから、ゆったりした衣服も含め全身の3次元形状を再構築する

　3次元の人物像を再構築する場合、学習（単一のRGB画像から深層学習で再構築する手法）、Fusion（深度画像を結合して3次元シーンを再構築する手法）、バンドル調整（複数位置から撮影した画像間の対応点からシーンの3次元形状を計算する手法）の3つが主に用いられる。今回の手法では、これら3つの長所を生かしたアプローチを採用した。

　まず、取得した被験者のRGB-Dフレームから深層学習を用いて大まかな3次元モデルを事前生成する。次に、被験者自身に回ってもらい、その間のさまざまな角度から、部分的な人体形状を生成。最後にバンドル調整により全ての人体形状を結合し、精密な3次元人物像を出力する。

本手法のパイプライン

　これにより出力した3次元モデルは、衣服のひだなどの細部のテクスチャまで含めて再現され、他の類似研究と比べても良い結果を示したという。また、これらの処理が数秒で行えることも実証した。

本手法を用いた出力結果