長時間の動画から、短縮動画と説明文をAIで自動生成 ドラレコ解析に……NECが開発

[ITmedia]

　NECは12月5日、映像認識AIとLLM（大規模言語モデル）を組み合わせ、長時間の動画から、目的に応じた短縮動画と説明文を自動生成する技術を、世界で初めて開発したと発表した。1時間以上の動画から、目的のシーンの動画と説明文章を数秒間で作成できる。

　同技術を、ドライブレコーダーの動画から事故調査報告書を作成するケースで検証したところ、事故原因になったシーンの探索や報告書案の作成が自動化でき、報告書作成にかかる時間を半減できたという。同社は技術の試用版を、2024年3月に提供する予定だ。

ニュースリリースより

　新技術では、100以上の映像認識AIを活用し、シーンを構成する人物、車、建物、動物、樹木などの自然物、天気などの様々な物体や環境と、それらの変化を個別に認識。認識結果だけをLLMで分析することで、動画全体を分析する場合とより効率的に求めるシーンを見つけ出せるという。

　対象分野のサンプル映像を使ってLLMを事前にファインチューニングすることで、生成した文章の品質を向上させた。例えば、ドライブレコーダーの動画に適用する場合、事前に道路交通関係の動画を分析し、LLMが専門知識をたくわえておく。これにより生成AIの正確性の課題であるハルシネーションに対応しながら、信頼性の高い報告書を作成できるという。

　NECが開発したコンパクトで高性能なLLMと、高速なデータ検索システムを活用することで、長時間の動画から、目的に応じた短縮動画と説明文章を自動生成可能にしたという。

　2024年3月から、技術の試用版を損害保険会社や自動車メーカーなどに提供開始し、ドライブレコーダーの動画を活用した事故報告書などの資料作成を支援する。さらに、看護・介護記録や製造・建設現場での作業記録の作成支援、放送映像向けソリューションなどさまざまなユースケースに展開する予定だ。