Facebook、次世代AI「Ego4D」開発用一人称視点動画を世界で2200時間分収集

Facebookは次世代AI研究プロジェクト「Ego4D」を発表した。世界9カ国の855人が撮影した一人称視点の動画データセットを使い、「人間と同じ様に一人称視点で世界を理解し、世界と関わるAI」を開発する。

[佐藤由紀子，ITmedia]

　米Facebookは10月14日（現地時間）、次世代AI研究プロジェクト「Ego4D」を発表した。「人間と同じ様に一人称視点で世界を理解し、世界と関わるAI」を目指す。

Ego4Dが目指すAIの例（ドラムの演奏をスマートグラスを介して指導）

　AIに一人称視点の世界を学習させるため、9カ国（米、英、伊、印、日、シンガポール、サウジアラビア）の13の大学と研究所の855人の参加者に、日常生活の一人称視点の動画を録画させた。日本からは東京大学が参加している。動画は2200時間以上あるという。

　動画撮影には、GoProやVuzixなどの既存の端末を使った。同社は9月、動画も撮影できるスマートグラス「Ray-Ban Stories」を発表しているが、こちらで録画できる動画は最長30秒だ。

　収集した動画データは、スマートグラスやOculusのヘッドセットを介してユーザーをサポートするAIの学習のために使われる。また、同社はこのデータセットを公開する計画という。

　Facebookは、このデータセットを使って開発するAIアシスタントの5つのベンチマーク課題も発表した。

• エピソード記憶：「時計をどこにしまったか？」などを提示する
• 予測：料理中に既に塩を投入しているのにまた使おうとすると警告する
• 操作手順：ドラムの演奏方法の指導
• 視聴覚記録：誰がいつ何を言ったかを記録し、提示する
• 社会的交流のサポート：騒がしい環境での会話のサポート

　これらのベンチマークについては記事末に転載した動画でも例を紹介しており、かなり便利そうだ。

「塩はもう入れました！」

　Facebookはこれまでプライバシーの扱いで度々批判されてきた。Ego4Dはまだ研究プロジェクトの段階だが、これを例えばRay-Ban Storiesなどで利用できるようする場合、どのようにプライバシーを保護するのかという具体的な計画は、公開されている論文には掲載されていない（収集済みのデータについてのプライバシー対策については記述がある）。