Innovative Tech

実世界に溶け込むCG　空中に浮かずに配置し、光の当たり具合も適切に調整

公開 2021年12月28日 08時02分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　オーストリアのグラーツ工科大学とVRVis Research Center、ニュージーランドのオタゴ大学の研究チームが開発した「Neural Cameras: Learning Camera Characteristics for Coherent Mixed Reality Rendering」は、実世界にバーチャルオブジェクトを重ねて描画するビデオベースのMR（Mixed Reality）において、両者が調和しているかのようにレンダリングする深層学習を使った手法だ。物理的なカメラ特性を考慮することで実現した。

（a）虎のおもちゃ、（b）上段が従来の方法でレンダリングした3Dスキャンした虎のバーチャルオブジェクト。下段がこの手法を使って出力した虎のバーチャルオブジェクト、（c）虎の左が実物、中央がこの手法の出力結果、右が従来の出力結果

　実世界にバーチャルオブジェクトを表示するMRは、両者がどれだけ調和できるかが求められる。バーチャルオブジェクトが静止画ではなく、アニメーションを含むとなると難易度も上がる。そのために、実世界の物体と調和した配置（空中に浮いたりめり込んだりしていないか）と、実世界の動きに応じたリライティング（光の当たり具合）などを行う

　一方で既存の方法では、バーチャルカメラに依存しており、物理的なカメラ特性を考慮しきれていないのが現状だ。これには、実際のレンズやセンサー、ISP（Image Signal Processor）が含まれる。今回は、このカメラ特性（レンズ、センサー、ISP）をDNN（Deep neural network）を使って推定し、バーチャルオブジェクトに適応することで、カメラ特性に応じたレンダリングを実行する。

　具体的には、レンズシステムの動作を模倣するための「LensNet」、イメージセンサーを模倣するための「SensorNet」、そしてISPによって追加されるエフェクトを含むために「ISPNet」の3つのネットワークを設計した。このように3つのネットワークに分けることで、それぞれに最適なデータセットで学習できる。

　この手法は、データセット内の画像に共通するカメラ特性を模倣してオフラインで学習するため、実行時に物理的なカメラに関する詳細な情報を必要としないのが特徴だ。

システムの概要

　学習したモデルを介してレンダリングしたバーチャルオブジェクトは、高品質のぼかしや色合いが実世界と調和して表現される。従来のバーチャルカメラを使った場合と比べても、例えば、虎のおもちゃとそれを3Dスキャンした虎のバーチャルオブジェクトを並べると、虎のバーチャルオブジェクトは実世界の色やブラーとの不一致が起こり、見る者に強烈な違和感を与えるが、今回のモデルを活用すると、レンダリングの色やブラーを実世界に合わせるため、実世界に溶け込んだような表現ができる。