ストリートビュー内をアニメ化する技術、米ワシントン大が開発 自然に振る舞う人や車が行き交う：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米ワシントン大学に所属する研究者らが発表した論文「Animating Street View」は、Google Street Viewの静止画などをアニメーション化する手法を提案した研究報告である。静止したシーンの画像に自然に振る舞う歩行者と車を自動的に配置することで動画に変換する。

ストリートビュー内をアニメーション化できる

　このシステムは、単一のストリート画像またはパノラマ画像を入力として受け取り、入力画像からもともとの人や車を取り除き、適切なスケールや角度、動き、外観を持つ動くオブジェクト（人や車）を挿入する。

　また、歩行者や車の経路計画と交通行動をシミュレーションし、現実的な遮蔽（しゃへい）と影の効果を持つシーンをレンダリングする。この方法により、追加のキャプチャーやプライバシー上の懸念なしにストリートビューを生き生きとした映像表現に変換できる。

　具体的には、システムは3つの主要なコンポーネントで構成。第1段階では、シーンの意味的なセグメンテーションラベル、深度値、太陽の方向と強度、影の領域を予測し、歩行者と車を追加するための歩行および運転領域を特定する。

　第2段階では、シーンの鳥瞰（ちょうかん）図で歩行者をシミュレートし、予測された車線を用いて車の動きをシミュレートする。横断歩道が検出された場合、交通信号を制御することで交通行動もシミュレートする。第3段階では、推定された照明、影、遮蔽を用いてシーンをレンダリングする。これらの段階を通じて、動的でリアルなストリートビュー映像を生成できる。

システムの概要

左端が入力の静止画像。右3つが出力結果の動画フレームの一部

Source and Image Credits: Mengyi Shan, Brian Curless, Ira Kemelmacher-Shlizerman, and Steve Seitz. 2023. Animating Street View. In SIGGRAPH Asia 2023 Conference Papers（SA ’23）. Association for Computing Machinery, New York, NY, USA, Article 64, 1-12. https://doi.org/10.1145/3610548.3618230