Googleストリートビューのハイパーラプス、天気や時間など統一して作成する技術：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米Google、米カリフォルニア大学バークレー校、米Humenによる研究チームが開発した「Learning to Factorize and Relight a City」は、Googleストリートビュー（GSV）における屋外シーンを再構築できる機械学習ベースのフレームワークだ。天候、季節、太陽の位置などを変更してGSVのシーンを編集できる。

（左）入力画像（中央）太陽の位置を変更した合成画像（右）空のスタイル変換

　GSVは世界中の屋外シーンをパノラマで保存している大規模なタイムラプスデータセットでもある。過去の画像はGSV-Time Machine（GSV-TM）に保存されている。一方、時間をかけて多くの場所を繰り返し撮影しているため撮影された時期や時間帯がまばらで、シーンの中を移動するときに天候や太陽の位置が大きく移り変わることもある。今回の手法は、この不規則な画像群から照明や天候を分離するものだ。

　今回はデータが豊富なニューヨーク州を中心に学習した。パノラマを8つのセットにクラスタリングしたスタックをトレーニング用に約10万件、テスト用に約1万6000件作成した。テスト時には、パリなど他の都市の画像にも適用した。

モデルの概要図

　この手法では、異なる天候や照明条件などの時間的に変化する効果を、建物や道路などの恒久的な物体から切り離すことができる。さらに画像を再構成することで、照明効果やシーンのジオメトリの変更が行える。

　この手法の応用で、空や季節のスタイル変換、太陽の方角変更による日光の当たり方の変換、パノラマ内に新しい建物を合成して再照明、一貫した照明の下で都市をバーチャル歩行するハイパーラプスの作成、アニメーション化などが可能だ。

太陽の位置を変更した出力結果