Facebook、次世代AI「Ego4D」開発用一人称視点動画を世界で2200時間分収集

公開 2021年10月15日 11時27分

更新 2024年04月02日 11時34分

著者

佐藤由紀子

[ITmedia]

印刷する Googleで優先するソースとして追加

　米Facebookは10月14日（現地時間）、次世代AI研究プロジェクト「Ego4D」を発表した。「人間と同じ様に一人称視点で世界を理解し、世界と関わるAI」を目指す。

Ego4Dが目指すAIの例（ドラムの演奏をスマートグラスを介して指導）

　AIに一人称視点の世界を学習させるため、9カ国（米、英、伊、印、日、シンガポール、サウジアラビア）の13の大学と研究所の855人の参加者に、日常生活の一人称視点の動画を録画させた。日本からは東京大学が参加している。動画は2200時間以上あるという。

　動画撮影には、GoProやVuzixなどの既存の端末を使った。同社は9月、動画も撮影できるスマートグラス「Ray-Ban Stories」を発表しているが、こちらで録画できる動画は最長30秒だ。

　収集した動画データは、スマートグラスやOculusのヘッドセットを介してユーザーをサポートするAIの学習のために使われる。また、同社はこのデータセットを公開する計画という。

　Facebookは、このデータセットを使って開発するAIアシスタントの5つのベンチマーク課題も発表した。

エピソード記憶：「時計をどこにしまったか？」などを提示する
予測：料理中に既に塩を投入しているのにまた使おうとすると警告する
操作手順：ドラムの演奏方法の指導
視聴覚記録：誰がいつ何を言ったかを記録し、提示する
社会的交流のサポート：騒がしい環境での会話のサポート

　これらのベンチマークについては記事末に転載した動画でも例を紹介しており、かなり便利そうだ。

「塩はもう入れました！」

　Facebookはこれまでプライバシーの扱いで度々批判されてきた。Ego4Dはまだ研究プロジェクトの段階だが、これを例えばRay-Ban Storiesなどで利用できるようする場合、どのようにプライバシーを保護するのかという具体的な計画は、公開されている論文には掲載されていない（収集済みのデータについてのプライバシー対策については記述がある）。