正面の顔写真1枚から“見えない後頭部”をいい感じに3Dで生成 中国ByteDanceなどが技術開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　中国のByteDanceと米ウィスコンシン大学マディソン校に所属する研究者らが発表した論文「PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°」は、肖像画の写真1枚のみから見えない後頭部を含めた360度の3D頭部モデルを再構築するフレームワークを提案した研究報告である。

正面顔写真1枚から後頭部含む全方位の3D頭部モデルを生成

　異なる角度の複数枚の写真から3Dモデルを構築するアプローチは多く研究されており、忠実度の高い3D頭部モデルが生成されている。1枚の画像から3Dに変換するアプローチも多く研究されているが、こちらは正面近くのビューでの合成に限られており、頭部の再現性は低い。

　この研究では、360度の高品質なフル3D頭部合成のための、GAN（Generative Adversarial Network）を用いたアプローチ「PanoHead」を提案する。このモデルは、デジタルアバターやテレプレゼンスなどの多くの没入型インタラクションシナリオで望まれる、あらゆる角度から見ることができる一貫した3D頭部を合成する。

　システムでは、まず2D画像セグメンテーションにおける事前知識を抽出することで、3D空間における前景頭部と背景の分解を学習する。次に、抽出した頭部も前頭部と後頭部の特徴を分離するよう学習する。最後に、どのビューからの画像も一貫してロバストに位置合わせする、新しい2段階位置合わせスキームを提案する。

PanoHeadの概要図

　これにより、提案フレームワークは、忠実度の高い360度の頭部RGB画像とジオメトリを生成するだけでなく、最新の手法よりも優れた定量的指標を達成する。このモデルにより、1枚の単眼画像から説得力のある3D全頭画像の再構成ができ、簡単にアクセス可能な3Dポートレート作成できる。

（a）既存の類似手法で生成した頭部画像、（b）PanoHeadで生成した頭部画像

Source and Image Credits: An, Sizhe, Hongyi Xu, Yichun Shi, Guoxian Song, Umit Ogras, and Linjie Luo. “PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°” arXiv preprint arXiv:2303.13071（2023）.