Innovative Tech

GPT-4Vで“動画”を分析　米Microsoftが「MM-VID」発表

　米Microsoft Azure AIに所属する研究者らが発表した論文「MM-Vid: Advancing Video Understanding with GPT-4V（ision）」は、GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V（ision）」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデル（LLM）に高度なビデオ理解能力を与えるという研究報告である。

　長時間のビデオ、特に1時間以上のものを理解するのは、複数のエピソードにわたる画像や音声のシーケンスを分析する高度な手法が求められる複雑なタスクである。この課題は、話者を識別したり、キャラクターを特定したり、物語の一貫性を保持したりするような、多岐にわたる情報源からの情報の抽出が必要となるため、さらに増大する。

　また、ビデオに基づく質問に答える際には、内容や文脈、字幕の深い理解が必要となる。ライブストリームやゲームのビデオの場合、リアルタイムでの動的な環境を処理するためや、意味的な理解、長期的な戦略を立てる能力が求められる。

　大規模マルチモーダルモデル（LMM）、例えばGPT-4Vは、画像とテキストの両方の入力を処理する際の顕著なブレークスルーを示している。これにより、LLMをビデオ領域に適用することへの関心が高まっている。研究では、ビデオの理解のためにGPT-4Vと専門的なツールを統合したシステム「MM-VID」を紹介する。

　ビデオを入力すると、MM-VIDはマルチモーダルの前処理を行い、シーンの検出や自動音声認識（ASR）を通じてビデオ内の重要な情報を収集する。次に、シーン検出アルゴリズムに基づいてビデオを複数のクリップに分割する。その後、GPT-4Vを使用して、各クリップのビデオフレームを基に詳細な説明を生成する。

　最終的に、クリップレベルのビデオの説明、ASR、そして利用可能な場合はビデオのメタデータに基づいて、GPT-4を使って一貫したスクリプトを生成する。この生成されたスクリプトを通じて、MM-VIDはさまざまなビデオタスクを実行できる。

　実験の結果、MM-VIDは数時間にわたるビデオの理解、複数エピソードの横断的な分析、キャラクターや話者の識別、ビデオゲームやGUI（グラフィカルユーザーインタフェース）との相互作用といった困難なタスクに対して、その有効性を確認した。また、綿密なユーザースタディーを行ったところ、MM-VIDによる音声の説明は、人間によるものとほぼ同等の品質であることを示した。

Source and Image Credits: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang. MM-VID: Advancing Video Understanding with GPT-4V（ision）.

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  ChatGPT、“目”と“耳”の実装を発表　写真の内容を認識、発話機能でおしゃべりも可能に

• 

  「話し声と足音だけ抜き出して」など、複雑な言語指示で音を分離できるモデル　英国チームが開発

• 

  「生成AIのハイプ・サイクル」2023年版をガートナーが公開　LLMやプロンプトエンジニアリングは「過度な期待のピーク」に

• 

  生成AIに“視覚”与える学習ライブラリ、自動運転EVベンチャー公開　最大700億パラメータの学習済みモデルも

• 

  「マルウェア入り画像」で生成AIにサイバー攻撃　入力すると回答結果をハック、悪意サイトへの誘導も