米Google、AIと対話しながら“ストリートビュー”できる「StreetViewAI」開発　視覚障害者の外出支援に活用

公開 2025年10月06日 12時00分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X：＠shiropen2

　米Google Researchと米Google DeepMindの研究チームが発表した論文「StreetViewAI: Making Street View Accessible Using Context-Aware Multimodal AI」は、AIと対話しながらストリートビューで地球上を探索できる視覚障害者向けツールを開発した研究報告だ。

「StreetViewAI」のインタフェース画面

　Googleストリートビューのような没入型の街並みマッピングツールは、100カ国以上で2200億枚を超える360度画像を保有しているにもかかわらず、その視覚依存性の高さゆえに、これまで視覚障害者には閉ざされた世界であった。

　今回開発した「StreetViewAI」は、マルチモーダルAIモデルを活用することで、視覚障害者がバーチャルに街並みを探索できるようにしたシステムだ。利用者は矢印キーで45度ずつ視点を回転させ、前後に移動しながら、現在地、向いている方角、近隣の施設情報などを音声で確認できる。　

　システムでは、Google Gemini Flash 2.0モデルを基盤とした3つのAIサブシステムで、それぞれ「AI Describer」「AI Chat Agent」「AI Tour Guide」として機能する。AI Describerでは、視界の重要な物体、空間的関係、ナビゲーションの手掛かりなどを簡潔な音声説明として提供する。

StreetViewAIの主要機能

　AI Chat Agentとの対話機能により、利用者は現在見ている光景について自由に質問できる。「歩道は日陰になっているように見えますか」「コーヒーショップの入り口は車椅子でアクセス可能ですか」「このルート沿いに何か驚くようなものはありますか」といった具体的な情報を得ることが可能だ。

　AIモデルは最大104万8576の入力トークンを保持し、過去の視点や会話履歴を考慮した文脈に即した応答を生成する。AI Tour Guideは、歴史的事実や文化的意義、建築様式など観光向けの情報を提供する役割を担う。

AIチャットでの空間認識サポートの実例

　研究チームは11人の視覚障害者を対象に評価研究を実施。参加者全員が白杖を使用し、JAWSやVoiceOverなどのスクリーンリーダーを日常的に利用している。研究では、目的地調査タスクと自由探索タスクの2種類の課題を設定した。

　前者では、バス停、遊び場、メキシコ料理レストランなどの特定の場所について調査し、後者では、ミネアポリスのアイスクリーム店やパリの日本料理店へのバーチャル的な経路探索を行った。

StreetViewAIの実際の使用画面

　結果、参加者はAI Chat Agentを917回、AI Describerを136回使用し、インタラクティブな対話を好む傾向が見られた。816の質問のうち、86.3％が正確に回答され、誤答は3.9％にとどまった。質問内容を分析すると、最も多かったのは空間的な位置関係に関する質問（27.0％）で、次いで物体の存在確認（26.5％）、現在の視界の説明要求（18.4％）と続いた。

　参加者の多くは音声入力を好み、AI Chatの94.4％以上が音声で行われた。参加者の一人は「これまでのナビゲーションシステムは目的地の5～10フィート（約1.5～3m）手前までしか案内してくれなかったが、このツールはドアまで導いてくれ、そのドアの様子まで説明してくれる」と評価した。

Source and Image Credits: Jon E. Froehlich, Alexander J. Fiannaca, Nimer M Jaber, Victor Tsaran, and Shaun K. Kane. 2025. StreetViewAI: Making Street View Accessible Using Context-Aware Multimodal AI. In Proceedings of the 38th Annual ACM Symposium on User Interface Software and Technology（UIST ’25）. Association for Computing Machinery, New York, NY, USA, Article 43, 1-22. https://doi.org/10.1145/3746059.3747756

この連載新着通知をメールで受け取る

印刷する

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る