このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米南カリフォルニア大学(USC)と、写真共有アプリ「Snapchat」などを開発する米Snapの研究チームが開発した「NeROIC: Neural Object Capture and Rendering from Online Image Collection□」は、さまざまな時間や場所、照明条件で撮影した対象物のオンライン画像を入力すると、画像に写る対象物を抽出し3Dモデルに変換するアプローチだ。
この手法は、オンラインで公開している同一対象物が写る画像群を使い、その対象物の3Dモデルを高い忠実度で再構築するシステムを提案する。通常、オンライン上の画像は、照明やカメラの向きなど異なる条件で撮影しているため、単純にこれらを組み合わせても正確な再現は難しい。
開発したシステムは、対象物のジオメトリと周囲の照明を推定し、適切な照明条件で対象物の3Dモデルをレンダリングする。新しいビューを合成できるだけでなく、新しい環境と照明条件において、撮影した物体を再照明し、周囲と調和した合成が行える。
ネットワークは、ジオメトリネットワークとレンダリングネットワークの主要な2段階モジュールで構成する。1段階目では、疎な画像と対象物を定義する前景マスクを入力に、複数の異なる視点の画像群から新たな視点ビューを作り出す「NeRF」(Neural Radiance Field)でRadiance field(輝度の場)を計算し、対象物の表面の法線とジオメトリを推定する。
2段階目では、推定した法線とジオメトリを使い、対象物に対しての照明条件(球面調和係数として表現)と表面材料特性(Phongレンダリングモデルを使用)と高品質表面法線を推測する。
このシステムを評価するために、さまざまな環境下で撮影した画像や、オンラインリソースから収集した物体の画像など、複数の実環境物体データセットを作成した。このような困難な設定において、最先端の代替手法と比較した結果、このアプローチは代替手法を定性的にも定量的にも上回り、かつ同等の学習効率と推定効率を維持していることを示した。
Source and Image Credits: Kuang, Zhengfei, Kyle Olszewski, Menglei Chai, Zeng Huang, Panos Achlioptas, and Sergey Tulyakov. "NeROIC: Neural Rendering of Objects from Online Image Collections." arXiv preprint arXiv:2201.02533(2022).
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR