ニュース
好きな視点と照明でリアルな合成画像 Googleなど「Neural Light Transport」開発:Innovative Tech
リライティングと多視点合成を同時に行える深層学習フレームワーク。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
マサチューセッツ工科大学(MIT)、Google、カリフォルニア大学サンディエゴ校による米研究チームが開発した「Neural Light Transport 」(NLT)は、全身のライティング変更と多視点合成を同時に行う深層学習フレームワークだ。任意のカメラ位置と照明環境下でフォトリアリスティックな全身画像を合成する。
今回の手法は、全方位に複数の照明とカメラを配置した球形ドーム型キャプチャーシステム「LightStage」よって捉えた全身のOLAT(One-Light-at-A-Time)画像セットから直接学習することで、照明を自由に制御した任意の多視点全身画像を生成する。
メッシュとテクスチャアトラスが提供するUVテクスチャ空間に2つのパスからなる深層学習ネットワークを埋め込み、そのモデルを学習して光と視点の方向に対応するテクスチャ空間のRGB画像を合成する。学習したモデルは、任意の方向の光で被写体を正確にライティングできる。
ライティング変更と多視点合成を同時に行うことで、見えていない視点と任意の光の方向に対して正確なレンダリングが行える。
複数の定性的・定量的実験を行ったところ、今回の手法は従来のライティング変更や多視点合成のソリューションを上回ったとしている。
関連記事
- 表と裏を独立検知できる布地タッチセンサー Google、「ZebraSense」開発
表裏のセンサーを交互に組み込むことで、表からも裏からも操作可能。 - 協調して動く球体ロボット群「FreeBOT」 くっついたり離れたり、転がったり壁を登ったり
自律システムの構築も目指す。 - レトロゲーム機でレトロゲームを自作 Microsoftが「TileCode」開発
「ツクール」など同種のものはあるが、今回はMSが構築した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.