音楽からダンスを自動生成、J-POPも踊れる「Dance Revolution」 Microsoftなど開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米Microsoftと中国・復旦大学による研究チームが開発した「Dance Revolution」は、深層学習を用いて音楽からダンスの動きを生成する手法だ。与えられた音楽を基に1分程度のダンスシーケンスを生み出す。コナミのゲーム「Dance Dance Revolution」とは無関係。

音楽から生成した骨格ベースのダンスシーケンス（左）、動きを人物に転移させて踊らせた様子（右）

　これまでの類似研究では、ネット検索を使って音楽からダンスを合成する手法や、分析によって得られた音楽と動きの相関を適用し新しいダンスを生成する機械学習ベースの手法などが実装されてきた。

　Dance Revolutionでは、既存研究を踏まえて、音楽とダンスの対応関係をより詳細に捉えた深層学習ベースの合成法を提案する。スタイル、リズム、ビートの点で音楽と一致した動きを生成する。データの流れ方自体を学習し決定する自己注意機構を組み込んだ音楽エンコーダー、RNN（Recurrent Neural Network）ベースのダンスデコーダーから構成される。

　音楽クリップを入力に、コードやリズムパターンなどの局所的な特徴をモデル化し、音楽シーケンスに対応する要素を条件として、ダンスの動きをフレームごとに予測。ダンス合成の予測誤差を軽減するための新しいカリキュラム学習法も提案している。

　学習に使用するデータセットとしては、YouTubeから155本のソロダンス動画を収集し、音楽とダンスをペアにしたデータを作成。スタイルは、J-POP、バレエ、ヒップホップの3種類を採用した。

　学習したモデルは、入力した音楽に合った全身骨格のダンスシーケンスを出力する。出力結果を見た目の滑らかさ、ビートやリズムの一致、スタイルの一貫性などで評価した結果、既存手法を上回る成果を確認したという。

出力した骨格ベースのダンスシーケンス

　以下の動画では、音楽に合った骨格ベースのダンスと、生成したダンスシーケンスによる骨格を全身画像に転移させて踊らせた合成ビデオを確認できる。

動画が取得できませんでした

出力した骨格ベースのダンスシーケンスを人物画像に転移し躍らせた様子