ITmedia NEWS > STUDIO >
ニュース
» 2020年11月27日 07時30分 公開

Innovative Tech:自分でくるりと回るだけで精密な人物3Dモデル作成 1台のKinectで

Kinectで数秒、自分で回るだけで人体3D化が可能。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 中国・清華大学の研究チームが開発した「Robust 3D Self-portraits in Seconds」は、1台のRGB-Dカメラ( カラー画像の他に深度画像を取得できるカメラ、今回はMicrosoft Kinect v2)から、衣服を着た人物の3次元モデルを効率的に再構築するフレームワークだ。対象人物が自分で数秒回るだけで、質感ある3次元データを生成できる。

photo 1台のRGB-Dカメラから、ゆったりした衣服も含め全身の3次元形状を再構築する

 3次元の人物像を再構築する場合、学習(単一のRGB画像から深層学習で再構築する手法)、Fusion(深度画像を結合して3次元シーンを再構築する手法)、バンドル調整(複数位置から撮影した画像間の対応点からシーンの3次元形状を計算する手法)の3つが主に用いられる。今回の手法では、これら3つの長所を生かしたアプローチを採用した。

 まず、取得した被験者のRGB-Dフレームから深層学習を用いて大まかな3次元モデルを事前生成する。次に、被験者自身に回ってもらい、その間のさまざまな角度から、部分的な人体形状を生成。最後にバンドル調整により全ての人体形状を結合し、精密な3次元人物像を出力する。

photo 本手法のパイプライン

 これにより出力した3次元モデルは、衣服のひだなどの細部のテクスチャまで含めて再現され、他の類似研究と比べても良い結果を示したという。また、これらの処理が数秒で行えることも実証した。

photo 本手法を用いた出力結果

Copyright © ITmedia, Inc. All Rights Reserved.