Innovative Tech

AIで1枚の人物写真から高精細3Dモデル作成　Facebookなど開発

公開 2020年06月17日 06時54分

更新 2024年04月02日 11時47分

著者

山下裕毅

[ITmedia]

印刷する Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　南カリフォルニア大学、Facebook Reality Labs、Facebook AI Researchによる研究チームが開発した「PIFuHD」は、1枚の人物写真から衣服を着た人体3次元モデルを高解像に再構築する深層学習フレームワークだ。指や顔の特徴、衣服のひだといった細かい情報や、見えていない箇所まで3Dで再現する。

高解像度の人物画像を入力に、高解像度で服を着た人物の3次元形状を再構成する

　人物の3Dモデルを忠実に作成する場合、従来は「Light Stage」と呼ばれる、全方位に多数のカメラやセンサーを配置した球形ドーム型キャプチャーシステムが用いられてきた。しかし、Light Stageは高価なため一般的に導入は難しい。そこで1枚の画像から深層学習を用いて再構築する手法が注目されている。それでも細部を再構成することはできず、Light Stageで作成したモデルより精度などが著しく低いままだった。

　この課題に挑戦したのが本手法で、2019年に発表した「PIFu」（Pixel-Aligned Implicit Function）をベースにしたアーキテクチャを採用している。

　PIFuの特徴としては、学習中のメモリ効率が良く、3Dメッシュの生成も必要ない点が挙げられる。しかし、入力サイズ（最大512×512ピクセル）と画像特徴量の解像度（128×128ピクセル）が制限されている。

　今回の手法では、PIFuネットワークに加えて、1024×1024ピクセルの画像を入力に512×512ピクセルの画像特徴量で処理するネットワークを使うアプローチでこの制限を回避する。3次元深度の生成が不要となるために画像全体を学習する必要がなく、画像の切り抜きを用いて訓練できる点や、メモリ容量に制限されずに高解像度の画像が入力できる点などがメリットだ。

　さらに、画像空間における法線マップ（正面と背面）を予測し、これらを追加入力としてネットワークに供給することで、見えない裏側についても高い解像度で画像を生成する。