Innovative Tech

単眼カメラの映像から人物の3Dモデル（衣服込み）をリアルタイム生成　深層学習で

公開 2021年03月23日 14時33分

更新 2021年03月23日 10時27分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　南カリフォルニア大学、USC Institute for Creative Technologies、Pinscreenによる米研究チームが開発した「Monocular Real-Time Volumetric Performance Capture」は、衣服を着た動く人物の3次元モデルをリアルタイムに生成する深層学習ベースのフレームワークだ。

　単眼のRGBカメラで一方向から撮影した映像から、見えない背面などを含む全身の演技をリアルタイムでキャプチャーする。隠れた部分のテクスチャも推定するため、質感を持った衣服を着た人間の、多様なポーズを生成できる。

単眼Webカメラからほぼリアルタイムに3Dモデルを再構築する

　1枚の画像から完全なテクスチャを持つ着衣の人物の3次元モデルを再構築する「PIFu」（Pixel-Aligned Implicit Function）を利用して、各フレームから生成する。計算コストが高いPIFuをリアルタイムで処理するために、新しいテクスチャ再構成アルゴリズムと、メッシュを抽出する必要のないダイレクトレンダリング法を採用した。