ITmedia NEWS > AI+ >
ニュース
» 2020年08月17日 09時32分 公開

Innovative Tech:複数写真から自由視点画像を生成 Googleなど「NeRF」開発

3D処理を機械学習で行い、実用に足る視点移動が可能。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 米カリフォルニア大学バークレー校、米Googleの研究部門であるGoogle Research、米カリフォルニア大学サンディエゴ校による研究チームが開発した「NeRF」は、さまざまな角度から撮影した写真を機械学習を用いて処理し、自由な視点から見られる画像を生成する技術だ。

photo NeRFで作成した異なる視点のレゴのブルドーザー

 この技術を用いて出力した画像は、見る視点を変えても、その視点に合わせた新しい画像が連続的に生成されるため、立体感を保ったまま閲覧できる。

 この画像を生成するために、MLP(Multilayer perceptron)ニューラルネットワークで学習する。特徴的なのが、機械学習で画像生成を行う際に一般的に用いられるCNN(Convolutional Neural Network)を使っていないこと。CNNなしで従来の類似研究より高精度な成果を出せたという。

photo NeRFの概要図

 学習したモデルは、撮影した画像の各点の位置(複数視点の3次元座標)と見る角度(2次元の視線方向)を入力として物体の密度と色(RGB)を予測し、これを基に画像を合成する。合成した画像は、光の反射も再現しており、見る視点を変更すると同時に反射具合が変わるため、写実的な表現と感じ取ることができる。

 出力した画像内の手前にある物体の後ろにバーチャルオブジェクトを隠すオクルージョンも可能だ。

photo NeRFで作成した画像内にバーチャルオブジェクト(オレンジ色のボール)を挿入し、隠蔽効果を実行している様子

Copyright © ITmedia, Inc. All Rights Reserved.