GPT-4Vで“動画”を分析 米Microsoftが「MM-VID」発表:Innovative Tech
米Microsoft Azure AIに所属する研究者らは、GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V(ision)」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデルに高度なビデオ理解能力を与えるという研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
米Microsoft Azure AIに所属する研究者らが発表した論文「MM-Vid: Advancing Video Understanding with GPT-4V(ision)」は、GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V(ision)」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデル(LLM)に高度なビデオ理解能力を与えるという研究報告である。
長時間のビデオ、特に1時間以上のものを理解するのは、複数のエピソードにわたる画像や音声のシーケンスを分析する高度な手法が求められる複雑なタスクである。この課題は、話者を識別したり、キャラクターを特定したり、物語の一貫性を保持したりするような、多岐にわたる情報源からの情報の抽出が必要となるため、さらに増大する。
また、ビデオに基づく質問に答える際には、内容や文脈、字幕の深い理解が必要となる。ライブストリームやゲームのビデオの場合、リアルタイムでの動的な環境を処理するためや、意味的な理解、長期的な戦略を立てる能力が求められる。
大規模マルチモーダルモデル(LMM)、例えばGPT-4Vは、画像とテキストの両方の入力を処理する際の顕著なブレークスルーを示している。これにより、LLMをビデオ領域に適用することへの関心が高まっている。研究では、ビデオの理解のためにGPT-4Vと専門的なツールを統合したシステム「MM-VID」を紹介する。
ビデオを入力すると、MM-VIDはマルチモーダルの前処理を行い、シーンの検出や自動音声認識(ASR)を通じてビデオ内の重要な情報を収集する。次に、シーン検出アルゴリズムに基づいてビデオを複数のクリップに分割する。その後、GPT-4Vを使用して、各クリップのビデオフレームを基に詳細な説明を生成する。
最終的に、クリップレベルのビデオの説明、ASR、そして利用可能な場合はビデオのメタデータに基づいて、GPT-4を使って一貫したスクリプトを生成する。この生成されたスクリプトを通じて、MM-VIDはさまざまなビデオタスクを実行できる。
実験の結果、MM-VIDは数時間にわたるビデオの理解、複数エピソードの横断的な分析、キャラクターや話者の識別、ビデオゲームやGUI(グラフィカルユーザーインタフェース)との相互作用といった困難なタスクに対して、その有効性を確認した。また、綿密なユーザースタディーを行ったところ、MM-VIDによる音声の説明は、人間によるものとほぼ同等の品質であることを示した。
Source and Image Credits: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang. MM-VID: Advancing Video Understanding with GPT-4V(ision).
関連記事
- ChatGPT、“目”と“耳”の実装を発表 写真の内容を認識、発話機能でおしゃべりも可能に
米OpenAIのチャットAI「ChatGPT」に、画像認識、音声認識、発話機能が搭載された。今後2週間かけて、PlusユーザーとEnterpriseユーザーに展開するという。 - 「話し声と足音だけ抜き出して」など、複雑な言語指示で音を分離できるモデル 英国チームが開発
英サリー大学とByteDanceに所属する研究者らは、自然言語で指示された通りに音を分離するモデルを提案する研究を発表した。 - 「生成AIのハイプ・サイクル」2023年版をガートナーが公開 LLMやプロンプトエンジニアリングは「過度な期待のピーク」に
ガートナージャパンが「生成AIのハイプ・サイクル」2023年版を公開。大規模言語モデル(LLM)やプロンプトエンジニアリングといった技術は「過度な期待のピーク」にあるとした。 - 生成AIに“視覚”与える学習ライブラリ、自動運転EVベンチャー公開 最大700億パラメータの学習済みモデルも
自動運転車を開発するTuringは、日本語などの複数言語対応のマルチモーダルな学習ライブラリ「Heron」を公開した。ソースコードは、研究・商用利用が可能。併せて、最大700億パラメータの学習済みモデル群なども公開している。 - 「マルウェア入り画像」で生成AIにサイバー攻撃 入力すると回答結果をハック、悪意サイトへの誘導も
米Cornell Techに所属する研究者らは、画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション(生成AIに対しての攻撃)を提案した研究報告を発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.