1枚のパノラマ写真から室内を3次元で忠実に再現 Googleなどが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国の浙江大学と米Googleの研究チームが開発した「Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects」は、1枚のパノラマ写真から部屋内の全体の3次元シーンを正確に再現するシステムだ。

　ニューラルレンダリング（ボリュームレンダリング）に基づく最適化により、シーンの3次元配置と照明状態を高精度に推定し、ルームスケールの自由視点レンダリングを実現。家具の移動や照明条件が変わっても、再度パノラマで撮影すれば同様の精度で結果が得られる。

1枚のパノラマ写真から家具の配置や照明状態を理解し、室内全体の自由視点レンダリングを行う

　今回は、単一のパノラマ画像を入力に、室内の3次元空間におけるオブジェクトの認識と位置特定、任意のカメラ視点からのシーンのレンダリングを行う。システムはオフラインステージとオンラインステージの2段階のパイプラインで構成する。

　オフラインステージでは、RGB-Dカメラで各オブジェクト（椅子や棚など）と背景をスキャンし、オブジェクトにボリュームレンダリング（NeRFを代表とする、異なる角度から撮影した複数画像でその物体の自由視点画像を生成する技術）を行い、各オブジェクトの3次元オブジェクトを作成する。

　オンラインステージでは、パノラマ画像から全体的なボリュームレンダリングベースの最適化を利用してオブジェクトの配置と照明条件を推定する。これによって、3Dシーンの正しい理解が得られる。

オンラインステージではパノラマ画像1枚から部屋全体のボリュームレンダリングを行う

　このようにオフラインステージの段階であらかじめ家具や部屋全体の情報を収集し3次元にしているため、その後、室内の家具が移動したり照明条件が異なっていても、単一のパノラマ写真で家具などの位置を正確に把握し高精度の自由視点レンダリングが行える

システムのパイプライン

　研究チームはこの技術をロボットが特定の室内環境（家、オフィス、美術館など）で動作するシナリオを想定している。シーンを高いレベルで理解できるため、シーン内での複雑なタスクも容易になるという。他にも、家具購入を考えて疑似的に家具をシーン内に配置するアプリ、自室でバーチャルゲームを作成するアプリなどにも活用できるだろう。

Source and Image Credits: Bangbang Yang, Yinda Zhang, Yijin Li, Zhaopeng Cui, Sean Fanello, Hujun Bao, and Guofeng Zhang.“Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects”