写真内の物体を3Dモデルに変換するシステム、米Snapらの研究チームが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米南カリフォルニア大学（USC）と、写真共有アプリ「Snapchat」などを開発する米Snapの研究チームが開発した「NeROIC: Neural Object Capture and Rendering from Online Image Collection□」は、さまざまな時間や場所、照明条件で撮影した対象物のオンライン画像を入力すると、画像に写る対象物を抽出し3Dモデルに変換するアプローチだ。

（左）入力した複数の画像、（右）出力結果

　この手法は、オンラインで公開している同一対象物が写る画像群を使い、その対象物の3Dモデルを高い忠実度で再構築するシステムを提案する。通常、オンライン上の画像は、照明やカメラの向きなど異なる条件で撮影しているため、単純にこれらを組み合わせても正確な再現は難しい。

　開発したシステムは、対象物のジオメトリと周囲の照明を推定し、適切な照明条件で対象物の3Dモデルをレンダリングする。新しいビューを合成できるだけでなく、新しい環境と照明条件において、撮影した物体を再照明し、周囲と調和した合成が行える。

このアプローチによる物体捕捉とその応用結果の例

　ネットワークは、ジオメトリネットワークとレンダリングネットワークの主要な2段階モジュールで構成する。1段階目では、疎な画像と対象物を定義する前景マスクを入力に、複数の異なる視点の画像群から新たな視点ビューを作り出す「NeRF」（Neural Radiance Field）でRadiance field（輝度の場）を計算し、対象物の表面の法線とジオメトリを推定する。

　2段階目では、推定した法線とジオメトリを使い、対象物に対しての照明条件（球面調和係数として表現）と表面材料特性（Phongレンダリングモデルを使用）と高品質表面法線を推測する。

システムのパイプライン

　このシステムを評価するために、さまざまな環境下で撮影した画像や、オンラインリソースから収集した物体の画像など、複数の実環境物体データセットを作成した。このような困難な設定において、最先端の代替手法と比較した結果、このアプローチは代替手法を定性的にも定量的にも上回り、かつ同等の学習効率と推定効率を維持していることを示した。

システムを使って出力した結果例

Source and Image Credits: Kuang, Zhengfei, Kyle Olszewski, Menglei Chai, Zeng Huang, Panos Achlioptas, and Sergey Tulyakov. "NeROIC: Neural Rendering of Objects from Online Image Collections." arXiv preprint arXiv:2201.02533（2022）.