GPT-4Vで“動画”を分析 米Microsoftが「MM-VID」発表：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米Microsoft Azure AIに所属する研究者らが発表した論文「MM-Vid: Advancing Video Understanding with GPT-4V（ision）」は、GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V（ision）」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデル（LLM）に高度なビデオ理解能力を与えるという研究報告である。

MM-VIDは、任意の入力ビデオを理解する能力を持つ

　長時間のビデオ、特に1時間以上のものを理解するのは、複数のエピソードにわたる画像や音声のシーケンスを分析する高度な手法が求められる複雑なタスクである。この課題は、話者を識別したり、キャラクターを特定したり、物語の一貫性を保持したりするような、多岐にわたる情報源からの情報の抽出が必要となるため、さらに増大する。

　また、ビデオに基づく質問に答える際には、内容や文脈、字幕の深い理解が必要となる。ライブストリームやゲームのビデオの場合、リアルタイムでの動的な環境を処理するためや、意味的な理解、長期的な戦略を立てる能力が求められる。

　大規模マルチモーダルモデル（LMM）、例えばGPT-4Vは、画像とテキストの両方の入力を処理する際の顕著なブレークスルーを示している。これにより、LLMをビデオ領域に適用することへの関心が高まっている。研究では、ビデオの理解のためにGPT-4Vと専門的なツールを統合したシステム「MM-VID」を紹介する。

　ビデオを入力すると、MM-VIDはマルチモーダルの前処理を行い、シーンの検出や自動音声認識（ASR）を通じてビデオ内の重要な情報を収集する。次に、シーン検出アルゴリズムに基づいてビデオを複数のクリップに分割する。その後、GPT-4Vを使用して、各クリップのビデオフレームを基に詳細な説明を生成する。

　最終的に、クリップレベルのビデオの説明、ASR、そして利用可能な場合はビデオのメタデータに基づいて、GPT-4を使って一貫したスクリプトを生成する。この生成されたスクリプトを通じて、MM-VIDはさまざまなビデオタスクを実行できる。

MM-VIDの概要

MM-VIDの実行フローの例

　実験の結果、MM-VIDは数時間にわたるビデオの理解、複数エピソードの横断的な分析、キャラクターや話者の識別、ビデオゲームやGUI（グラフィカルユーザーインタフェース）との相互作用といった困難なタスクに対して、その有効性を確認した。また、綿密なユーザースタディーを行ったところ、MM-VIDによる音声の説明は、人間によるものとほぼ同等の品質であることを示した。

Source and Image Credits: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang. MM-VID: Advancing Video Understanding with GPT-4V（ision）.