Googleストリートビューからリアルなバーチャル3Dシーンを自動作成 Googleとトロント大が開発:Innovative Tech
米Google Researchとカナダ・トロント大学の研究チームは、Googleストリートビューなどで取得できる情報を基に、複数の視点の画像から合成して作り出す新たな視点画像と3D再構成を自動作成する手法を開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米Google Researchとカナダ・トロント大学の研究チームが開発した「Urban Radiance Fields」は、Googleストリートビューなどのスキャンプラットフォームで取得できる情報を基に、複数の視点の画像から合成して作り出す新たな視点画像と3D再構成を自動作成する手法だ。
特定シーンの異なる角度から撮影した複数枚の画像を組み合わせる手法と違い、今回は常に動いているカメラから撮影する、スキャンプラットフォームの取得データ画像を入力に使う。そのため、常に変わるカメラ位置や太陽の位置、画像間の露出の変化、ほとんどの画像に映り込む空の画像の処理、同じ構造物でもカメラごとに色が異なるなど、これまでよりも難しいアプローチになる。
今回は、LiDAR(周囲の物体までの距離を光りを当てて測定するセンサー)搭載のカメラリグでキャプチャーしたデータを入力に使用するのだが、LiDARで取得したデータは、シーンの遠方では解像度が低くなり、シーンの一部(光沢のある表面や透明な表面の場合など)では完全に消失してしまう課題を抱えている。
研究では、これら課題を解決し、よりリアルな3Dシーンの再構築を目指す。システムでは、NeRF(Neural Radiance Fields)を拡張したモデルを使用。NeRFは、Googleなどが先行研究で開発した、異なる視点の複数枚の画像を手掛かりに、新規の視点画像を合成して生成する技術のこと。今回は、このNeRFをベースに3つの拡張機能を追加した。
1つ目は、RGB画像と非同期に取得されたLiDARデータを入力に、大規模で複雑なシーンにおける視点を補う。2つ目は、空のピクセルを自動的にセグメント化し、空に向けられたカメラの光線に対して密度を監視する。3つ目は、各カメラのアフィン変換を推定することで、画像間の露出の変化を自動的に補正する。
これら3つの拡張機能を追加したNeRFモデルを評価するために、既存の類似技術と比較した実験を行った結果、先行研究より優れた3Dシーンを出力し、その有効性を示した。
Source and Image Credits: Rematas, Konstantinos, Andrew Liu, Pratul P. Srinivasan, Jonathan T. Barron, Andrea Tagliasacchi, Thomas Funkhouser, and Vittorio Ferrari. "Urban Radiance Fields." arXiv preprint arXiv:2111.14643 (2021).
関連記事
- 「同席しているみたい」──ビデオ会議の相手を3Dモデル化 Googleの「Project starline」 その仕組みは?
米Google Researchの研究チームは、対面式テレプレゼンス・システム「Project starline」の技術的仕組みを詳細に書き記した論文を発表した。Project starlineは、互いの上半身を取得し、3Dモデルとして離れた相手側のディスプレイにリアルタイムに表示し続けられる。 - 脳に貼り付ける高性能センサー、解像度は従来の100倍 将来的には無線化で埋め込みも
米カリフォルニア大学サンディエゴ校、米Oregon Health and Science University、米マサチューセッツ総合病院による研究チームは、1024個または2048個の皮質脳波記録センサーを高密度に配列した、薄くて柔軟なグリッドを開発した。 - Wi-Fiで果物の中身を測定できる「Wi-Fruit」 切らずに腐っているか判定可能
中国の上海交通大学と深せん大学、廈門大学、カナダのマギル大学による研究チームは、Wi-Fiを活用して果物の中身を外から計測するシステムを開発した。スイカやグレープフルーツなど皮が厚い果実も測定可能で、推定結果から内部の腐敗具合を判断できる。 - スマホのカレンダーは何年先まで表示できるのか? 試してみたら異界に迷い込んだ
iPadのカレンダーアプリの終わりはどこまであるのだろう? 軽い気持ちでカレンダーアプリの終わりを探す検証を始めたが、そこで待っていたのは人が決して立ち入ってはいけない“禁足地”だった。 - 共通テスト不正に加担しそうになった──当事者のnoteが話題 「手口は初見殺し」
「共通テスト不正に加担させられそうになっていた」──連日報道が続く、共通テストの画像流出問題について、そう告白したnoteの記事が話題になっている。投稿者は「この手口は初見殺しで、まっとうに生きていればなかなか気付けない」と話す。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.