正面の顔写真1枚から“見えない後頭部”をいい感じに3Dで生成 中国ByteDanceなどが技術開発:Innovative Tech
中国のByteDanceと米ウィスコンシン大学マディソン校に所属する研究者らは、肖像画の写真1枚のみから見えない後頭部を含めた360度の3D頭部モデルを再構築するフレームワークを提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
中国のByteDanceと米ウィスコンシン大学マディソン校に所属する研究者らが発表した論文「PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°」は、肖像画の写真1枚のみから見えない後頭部を含めた360度の3D頭部モデルを再構築するフレームワークを提案した研究報告である。
異なる角度の複数枚の写真から3Dモデルを構築するアプローチは多く研究されており、忠実度の高い3D頭部モデルが生成されている。1枚の画像から3Dに変換するアプローチも多く研究されているが、こちらは正面近くのビューでの合成に限られており、頭部の再現性は低い。
この研究では、360度の高品質なフル3D頭部合成のための、GAN(Generative Adversarial Network)を用いたアプローチ「PanoHead」を提案する。このモデルは、デジタルアバターやテレプレゼンスなどの多くの没入型インタラクションシナリオで望まれる、あらゆる角度から見ることができる一貫した3D頭部を合成する。
システムでは、まず2D画像セグメンテーションにおける事前知識を抽出することで、3D空間における前景頭部と背景の分解を学習する。次に、抽出した頭部も前頭部と後頭部の特徴を分離するよう学習する。最後に、どのビューからの画像も一貫してロバストに位置合わせする、新しい2段階位置合わせスキームを提案する。
これにより、提案フレームワークは、忠実度の高い360度の頭部RGB画像とジオメトリを生成するだけでなく、最新の手法よりも優れた定量的指標を達成する。このモデルにより、1枚の単眼画像から説得力のある3D全頭画像の再構成ができ、簡単にアクセス可能な3Dポートレート作成できる。
Source and Image Credits: An, Sizhe, Hongyi Xu, Yichun Shi, Guoxian Song, Umit Ogras, and Linjie Luo. “PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°” arXiv preprint arXiv:2303.13071(2023).
関連記事
- 脳波から画像を生成するAI「DreamDiffusion」 テンセント含む中国の研究者らが開発
中国の清華深セン国際大学院、Tencent AI Lab、Peng Cheng Laboratoryに所属する研究者らは、脳波(EEG)から高品質でリアルな画像を生成する拡散モデルを提案した研究報告を発表した。 - 生きたヒトの細胞で“心臓の心室”を3Dプリント 100日以上自発的に拍動 ドイツの研究者らが開発
ドイツのFriedrich-Alexander-Universitat Erlangen-Nurnberg(FAU)とJulius Maximilians-Universitat Wurzburg(JMU)に所属する研究者らは、ミニチュアサイズの心臓の心室を生きたヒトの心筋細胞で3Dプリントする手法を提案した研究報告を発表した。 - 大規模言語モデルは相関関係から“本当の”因果関係を推定できるのか? 40万個の問題で研究者らが調査
米ジョージア工科大学などの研究チームは、VoIP(Voice over Internet Protocol)通話中の相手ノートPCのマイクから取得するバックグラウンドノイズだけで、相手が閲覧しているWebサイトを特定するサイドチャネル攻撃を提案した研究報告を発表した。 - どんな物体も“ステルス”加工できる技術 東大などが開発 形状の再帰性反射を最小化
東京大学梅谷研究室とイスラエルのライマン大学、オーストリア科学技術研究所に所属する研究者らは、元の形状を保持しつつ表面の再帰性反射を最適化することで物体をステルスデザインに変形するフレームワークを提案した研究報告を発表した。 - 薬物を時間差で放出する“奇抜な形の錠剤” 3Dプリンタで印刷 米国とドイツの研究者らが開発
米UC DavisとドイツのMPI for Informaticsに所属する研究者らは、薬物を時間差で放出する錠剤の作り方を提案した研究報告を発表した。放出具合から逆算した形状を3Dプリンタで造形することで作り出す。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.