Googleストリートビューのハイパーラプス、天気や時間など統一して作成する技術:Innovative Tech
ストビューを使ってスムーズな擬似ハイパーラプスを可能にする技術。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米Google、米カリフォルニア大学バークレー校、米Humenによる研究チームが開発した「Learning to Factorize and Relight a City」は、Googleストリートビュー(GSV)における屋外シーンを再構築できる機械学習ベースのフレームワークだ。天候、季節、太陽の位置などを変更してGSVのシーンを編集できる。
GSVは世界中の屋外シーンをパノラマで保存している大規模なタイムラプスデータセットでもある。過去の画像はGSV-Time Machine(GSV-TM)に保存されている。一方、時間をかけて多くの場所を繰り返し撮影しているため撮影された時期や時間帯がまばらで、シーンの中を移動するときに天候や太陽の位置が大きく移り変わることもある。今回の手法は、この不規則な画像群から照明や天候を分離するものだ。
今回はデータが豊富なニューヨーク州を中心に学習した。パノラマを8つのセットにクラスタリングしたスタックをトレーニング用に約10万件、テスト用に約1万6000件作成した。テスト時には、パリなど他の都市の画像にも適用した。
この手法では、異なる天候や照明条件などの時間的に変化する効果を、建物や道路などの恒久的な物体から切り離すことができる。さらに画像を再構成することで、照明効果やシーンのジオメトリの変更が行える。
この手法の応用で、空や季節のスタイル変換、太陽の方角変更による日光の当たり方の変換、パノラマ内に新しい建物を合成して再照明、一貫した照明の下で都市をバーチャル歩行するハイパーラプスの作成、アニメーション化などが可能だ。
関連記事
- 1台のカメラから人の動きを正確に抜き出す技術 Adobeなどが開発
物理的制約に反する不自然さを減らすための技術を導入した。 - 手描きスケッチからリアルな顔を生成 深層学習に画家の手法導入し改善
画家が実際にやっているような作業を取り入れることで、深層学習による合成精度を上げたという。 - コンピュータ不要でレーザー光線に触って遊べるディスプレイ 香港城市大学が開発
LGPUという装置を使うことで、コンピュータやカメラなしでインタラクティブなレーザー操作ができる。 - のぞきこんだ顔が水面でドット絵に 電気分解式泡ディスプレイ「Bubble Mirror」 お茶大が開発
泡ディスプレイラテアートの進化版が登場。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.