Innovative Tech

Googleストリートビューのハイパーラプス、天気や時間など統一して作成する技術

公開 2021年01月29日 08時12分

更新 2021年01月29日 08時11分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米Google、米カリフォルニア大学バークレー校、米Humenによる研究チームが開発した「Learning to Factorize and Relight a City」は、Googleストリートビュー（GSV）における屋外シーンを再構築できる機械学習ベースのフレームワークだ。天候、季節、太陽の位置などを変更してGSVのシーンを編集できる。

（左）入力画像（中央）太陽の位置を変更した合成画像（右）空のスタイル変換

　GSVは世界中の屋外シーンをパノラマで保存している大規模なタイムラプスデータセットでもある。過去の画像はGSV-Time Machine（GSV-TM）に保存されている。一方、時間をかけて多くの場所を繰り返し撮影しているため撮影された時期や時間帯がまばらで、シーンの中を移動するときに天候や太陽の位置が大きく移り変わることもある。今回の手法は、この不規則な画像群から照明や天候を分離するものだ。

　今回はデータが豊富なニューヨーク州を中心に学習した。パノラマを8つのセットにクラスタリングしたスタックをトレーニング用に約10万件、テスト用に約1万6000件作成した。テスト時には、パリなど他の都市の画像にも適用した。