っぽいかもしれない

未来を感じさせる技術が面白い――NHK技研公開（3/4 ページ）

画像検索システムとMPF

　今回一番欲しくなった。

　ライブラリにある画像の中から、「上の方が空で、下の方が草原で、まんなかに茶色いのがどかんとあるやつ」って指定すると、その条件にマッチする画像を探して来てくれるというものだ。

　画像（写真に映っている画像は動画のサムネイルなんだけど、普通の静止画でもかまわないはず）をライブラリにすると、それぞれの画像の特徴データをインデックス化される。それと同時に、よく出てくるようなテクスチャ（空とか、草原とか、雪とか、森とか）も抽出してグルーピング化して、右上に並べてくれる。ここまでは完全に自動。

　検索するときは左上の画像ウインドウにテクスチャを適当に並べる。「上の方が空で、下の方が草原で」っていうのは、上の方に空テクスチャ、下の方に草原テクスチャを並べたということ。ウインドウには簡単な図形を描くこともできて、茶色い矩形をどかんとおくということができる。これで「検索」すれば、“上が空、下が茶、下の方に茶色い矩形がある画像”を検索することになり、こんな蟻塚の画像が出てくるというわけ。

　もちろん、この検索条件はライブラリの中身を知っている人が作っているから、こんなにスマートに見つかったのだ。でも実用上はそれで問題なさそう。ライブラリの中身を知らないわたしが、「上が白くて下が黒い」なんての入れたら、雪の中を流れる黒い川の画像が出て来たし、「全体が黒くて白い丸がひとつ」っていい加減なのを入れても、ちゃんと夜空の月の画像がでてきた。

　現在、画像検索を行うためにはメタデータにキーワードを入れたりする必要があるわけだけど、そのキーワードを入れるのはめんどくさい。このシステムで、とりあえず絵柄で絞り込んでおけば、メタデータを一括入力できてずいぶん楽になる。

　これはNHK（というか放送局）ならではなのだけど、番組の字幕情報を使って映像データにメタデータをはりつける試みもされていた。でも、ラッコの映像に「ラッコはイタチ科の動物です」って字幕があるとき、このままはりつけたのでは「イタチ」でラッコの画像が探し出されることになる。そこで、言語解析の手法を使って、その字幕の主題が何かを探し出して「ラッコ」というキーワードを抽出してそれをはりつけるというわけ。

　映像データに対するメタデータのはりつけかたとしては、「メタデータ制作フレームワーク」(MPF)が提唱されていた（NHKもMPFについて情報を掲載している）。これはMPEG-7に準拠したもので、映像に特化した部分の仕様を提案するものだ。DVDにこのメタデータが入るようになればいろいろ便利なんだけど。とりあえず、NHKの番組をDVDにするときにつけてくれないかな。

この記事の著者

関連記事

• 

  NHK技研公開――未来の超高画質放送からテレビ版ブログまで

• 

  技研公開に見る“テレビ今昔物語”――そして未来も