“踊ってもらった”をもっと手軽に――KDDIの「ダンスキャラクター自動生成」：ワイヤレスジャパン2011

音楽に合わせてCGキャラクターのダンスを自動生成する技術をKDDI研究所が開発。動画サイトで人気の“踊ってもらった”動画も手軽に作れる。スマートフォンでも動き、プロモーションやゲームなどにも応用できるという。

[山田祐介，ITmedia]

　「ワイヤレスジャパン2011」のKDDIブースでは、KDDI研究所の開発した「ダンスキャラクター自動生成」技術が展示されている。音楽に合わせて3DCGキャラクターのダンスを自動生成する技術で、スマートフォンでも快適に動く。

　ネットではバーチャルアイドル「初音ミク」をはじめ、3Dキャラクターを用いたアニメーションが人気だ。こうした中、キャラクターの関節の動きを手作業で指定するなどの手間や、高価なモーションキャプチャーシステムを必要としない手軽な技術が求められるとして、KDDI研究所は開発を進めている。

モーションデータと楽曲の特徴データを利用

　同技術では、キャラクターのモーションデータを約0.5秒間隔に細切れにしてデータベース化。楽曲からあらかじめ抽出したリズムや、音量を基に判断したした“盛り上がり感”に合わせて、プログラムが自動的に細切れのモーションデータをつなげ、ダンスアニメーションを生成する。

　細切れのモーションデータをつなぎ合わせる際には、ポーズの“連続性”が重要だ。データの間でポーズの変化が大きいと、動きの連続性がなくなり動画が不自然になる。従来はこうした連続性を、あらかじめ楽曲の全編に渡って解析してから動画を再生していたという。これだと、楽曲が長くなるとそれだけ再生までの解析時間も増えてしまう。

　そこで同社は動きの連続性を省メモリかつ高速に解析できるアルゴリズムを作り、振り付けをほぼリアルタイムに生成できるようにした。これにより、再生までの待ち時間は数秒程度になったという。また、スマートフォンでの動作も実現。説明員によれば、1GHz程度のチップセットであれば快適に動作するとのことだ。

　デモ用に用意されたスマートフォンアプリでは、キャラクターやダンスジャンル、さらに楽曲を自由に組み合わせ、ダンスアニメーションを生成できる。キャラクターのポリゴン数は「数千程度」で、1つのダンスジャンルに対し、モーションデータは「数百程度」用意されているという。ゆっくりとした音楽から激しい音楽まで、さまざまな楽曲に振り付けがぴったりと合っていた。

楽曲に加え、ダンスの種類やキャラクターの種類を自由に組み合わせられる

　今回のアプリには実装されていないが、乱数的なアルゴリズムを入れることで、同じ曲でも毎回ダンスが変化するようにもできる。また、PCの処理能力があれば、音楽のリズムや盛り上がりもリアルタイムに抽出できるとのこと。自分のプレイリストに合わせてバーチャルアイドルが踊る――そんなサービスも実現できそうだ。

　今後は「制作意欲をかきたてる」機能を加えるのが目標。単にアニメーションを自動生成するだけでなく、例えばパートごとに好きな振り付けを簡単に入れれるようなカスタマイズ機能を加えたいという。また、同社が開発する手のひらAR技術とのコラボレーションも検討中だ。

　実用化の時期は未定だが、楽曲やキャラクターのプロモーションアプリへの応用が一例として挙げられるという。また、ダンス用の楽曲を増やしたりキャラクターの衣装を着せ替えたりできるような、アイテム課金型のサービスなどとも相性がいいと同社は考えている。