Innovative Tech

ストリートビュー内をアニメ化する技術、米ワシントン大が開発　自然に振る舞う人や車が行き交う

　米ワシントン大学に所属する研究者らが発表した論文「Animating Street View」は、Google Street Viewの静止画などをアニメーション化する手法を提案した研究報告である。静止したシーンの画像に自然に振る舞う歩行者と車を自動的に配置することで動画に変換する。

　このシステムは、単一のストリート画像またはパノラマ画像を入力として受け取り、入力画像からもともとの人や車を取り除き、適切なスケールや角度、動き、外観を持つ動くオブジェクト（人や車）を挿入する。

　また、歩行者や車の経路計画と交通行動をシミュレーションし、現実的な遮蔽（しゃへい）と影の効果を持つシーンをレンダリングする。この方法により、追加のキャプチャーやプライバシー上の懸念なしにストリートビューを生き生きとした映像表現に変換できる。

　具体的には、システムは3つの主要なコンポーネントで構成。第1段階では、シーンの意味的なセグメンテーションラベル、深度値、太陽の方向と強度、影の領域を予測し、歩行者と車を追加するための歩行および運転領域を特定する。

　第2段階では、シーンの鳥瞰（ちょうかん）図で歩行者をシミュレートし、予測された車線を用いて車の動きをシミュレートする。横断歩道が検出された場合、交通信号を制御することで交通行動もシミュレートする。第3段階では、推定された照明、影、遮蔽を用いてシーンをレンダリングする。これらの段階を通じて、動的でリアルなストリートビュー映像を生成できる。

Source and Image Credits: Mengyi Shan, Brian Curless, Ira Kemelmacher-Shlizerman, and Steve Seitz. 2023. Animating Street View. In SIGGRAPH Asia 2023 Conference Papers（SA ’23）. Association for Computing Machinery, New York, NY, USA, Article 64, 1-12. https://doi.org/10.1145/3610548.3618230

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  新MacBook Pro（M3）でも機密情報が漏えい　2020年以降のApple製品全てに脆弱性　米国チームが発表

• 

  「急速に増える“非英語論文”の検索に」──米Googleら、多言語間でも論文同士の関連性を計算できるモデル開発

• 

  米Google、自然言語でAndroidデバイスを操作するための学習データセット公開

• 

  「もっともらしいウソ」をなくした“信頼できる”AI、Google「CoDoC」開発　医療診断に活用

• 

  100kmマラソンはできないので、ストリートビューを“100kmクリック”してみた　完走まで何時間？