録画した番組のダイジェスト自動生成技術〜KDDI

[斎藤健二，ITmedia]

　KDDI研究所は4月8日、MPEG（-1/-2/-4）動画からハイライト映像やダイジェスト映像を自動生成する技術を開発したと発表した。元映像から音声・映像の特徴を解析し、オリジナルの10分の1程度の長さの映像を自動作成できる。

　KDDI内では、「光プラスTV」サービスにおけるコンテンツ管理や、au携帯電話向けのダイジェスト／ハイライト映像配信などに活用。家電向けの組み込みライセンスも検討しているほか、この夏には、数十万円程度で業務用ソフトも販売する予定になっている。

KDDI研究所では、重要なイベントだけを抽出したものを「ハイライト」、あらすじを取り出したものを「ダイジェスト」と呼ぶ

多様なコンテンツを、自動で高速に処理可能

　特徴は、多種多様なコンテンツに対応できることと、自動処理が可能で、速度も高速なことだ。

　ハイライト／ダイジェスト生成技術は、複数の企業がチャレンジしているが、「基本的にインデックス情報を手動で付けたり、限られたスポーツに特化したものが多かった」とKDDI研究所マルチメディア通信グループの中島康之グループリーダー。

　例えば日本IBMとNTTドコモが発表したダイジェスト生成技術では、あらかじめ手動で動画に注釈（MPEG-7データ）を記入しておき、その注釈に従ってダイジェストを生成する（2001年9月の記事参照）。全自動の技術は、サッカーやゴルフなどに特化したものが多いという。

　自動生成は、音声と映像の特徴を解析し、シーンを特定することで行う。

• スポーツ：野球の投球、相撲の取り組みのように頻度の高く、動きが大きくてかつ歓声が大きいシーン
• ドキュメンタリー：カメラが静止しており、かつナレーションが入っているシーン
• 映画（ロマンス）：カメラが静止しており、かつ効果音やBGMがあるシーン
• 映画（アクション）：動きが大きく、かつ効果音やBGMがあるシーン

シーンの切れ目を検知する技術は早くから実用化されており、生成された映像はうまくつなぎ合わされている。野球中継において、ニュース用映像の加工を専門としているポストプロダクションが選択したのとほぼ同じシーンを、自動で選択しハイライトを生成できたことがアピールされた

　この解析により、プロ野球ならばホームランを90％以上、サッカーならばゴールシーンを90％以上の精度で収録したハイライト映像を生成。映画であれば、Webなどに掲載された解説と80％前後一致、ドラマであればテレビ局が掲載したあらすじと80％前後一致したものが自動生成できるという。

　MPEG（-1/-2/-4）圧縮に含まれる動き情報などを解凍せずに利用することで、再生時間の約5分の1（60分番組なら10分で生成完了）という高速処理も実現した。

※シーン解析の結果から直接ハイライト／ダイジェスト映像を生成するだけでなく、MPEG-7データとしてオリジナル画像に付加することも可能。サーバ配信用途などへの利用を検討している。

ダイジェスト生成がHDDレコーダーデータを活用

　ハイライト／ダイジェスト生成技術の応用例として、大きな市場が見込めるのが、HDDレコーダーなどの動画コンテンツ管理・閲覧需要だ。

　EPGによる番組名や番組冒頭のサムネイル、早送りでの再生などが現状の手段だが、見たいところを素早く検索できるとは言い難い。ダイジェストやハイライトを使えば、貯まった録画を検索したり閲覧するのが容易になる。

　「例えば45分間の相撲を録画しておいた場合、夜帰ってきて早送りしなくても、5分ですべての取り組みが見られる」（KDDI研究所）

　KDDI研究所は「HDDレコーダーとの親和性は非常に高い」としており、処理能力的にも現行のCPUで十分だという。