ITmedia NEWS > AI+ >
ニュース
» 2020年07月14日 07時00分 公開

Innovative Tech:Google、実写の3D映像を記録する46台のカメラシステムを開発

遠近感、奥行き、光の反射などをリアルに感じ取れる実写3D映像を多数のカメラを使い、撮影する。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 Googleの研究チームが開発した「Immersive Light Field Video with a Layered Mesh Representation」は、実写の3D映像を撮影できる46台のカメラを配置したライトフィールドカメラシステムだ。VR/ARシステムでストリーミング再生可能な6自由度(6DoF)の立体映像を作成する。

photo 46台のアクションカムを同期したカメラリグ

 ここで言う実写の3D映像とは、平面による360度映像ではなく、頭を動かすことで視点と遠近感が変化し、運動視差による奥行き感や、光の反射によってシーンがどのように構成されているかをより実感できる立体的な映像を指す。

 この3D映像を作り出すには、撮影する機材と、映像の圧縮やレンダリングなどを処理するシステムを必要とする。撮影機材は、直径92cmの半球ドームの20面体の頂点に取り付けた46台のアクションカム(カメラ間の平均間隔は18cm)からなるアレイを用い、全て同期させて使用する。 記録する視野角は220度以上。

photo カメラリグから撮影した画像群

 46台のカメラで撮影された画像は、キャリブレーションと色補正を施した後、 Multi-sphere image (MSI)を生成するために、訓練済み深層学習ベースのDeepViewネットワークにで処理する。

photo 本手法のパイプライン

 ただし、生成されるMSIはデータ量が1フレームあたり100枚以上の高解像度RGBA(RGB + Alpha)画像であり、ストリーミング経由やモバイル端末上でのレンダリングは困難だ。そこで、MSIをRGBAテクスチャを持つLayered Mesh(LM)に変換し、圧縮しやすくすることで解決するという。

photo (左) Multi-sphere image(右) Layered Mesh

 最終的に圧縮されたデータは軽量で、モバイルやVR/ARシステム、Webブラウザ上でのレンダリングが可能になる。出力結果はプロジェクトページにて、さまざまなサンプルシーンを閲覧しながらグリグリ移動し、試すことができる。

 今後は、カメラリグを増やして視野を360度まで拡張する計画だ。

Copyright © ITmedia, Inc. All Rights Reserved.