Innovative Tech

音楽からふりつけを自動生成　ポップスやジャズなどに合わせてキャラクターがダンス

公開 2021年12月09日 08時02分

著者

山下裕毅

[ITmedia]

印刷する Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国のNetEase Games AI LABと清華大学の研究チームが開発した「ChoreoMaster : Choreography-Oriented Music-Driven Dance Synthesis」は、音楽からキャラクターの振り付けを生成するダンスモーション合成システムだ。ポップスやヒップホップ、ロック、ジャズなど、さまざまな音楽スタイルのリズムに応じた動きを作り出す。

このシステムが生成した振り付けで踊っている様子

音楽に応じた振り付けを自動生成する

　ダンスアニメーションの制作はコストが高いため、昨今では、音楽からダンスアニメーションを自動生成する深層学習フレームワークが開発され、いくつか報告されている。しかし、発展途上の技術なため、汎用性や制御性の低さ、音楽と動きが合っていないなど課題も多い。

　これら課題に挑戦するため、今回は新たなフレームワークを導入し、音楽から高品質なダンスアニメーションの生成を行うシステムを提案する。

　よく構成されたダンスは、体の動きが音楽のリズムに合わせて調整されている。振付師は、ドラムのビートやピアノのメロディ、人間のボーカルなど、さまざまな部分のリズムを適宜参考にし関節の動きを組み立てている。これをモデル化するため、プロのアーティストにデータベースのダンスのビートパターンを手動でアノテーションしてもらった。

　ネットワークでは、ダンスモーションを生成するモジュール「Dance Synthesis」の前に、音楽とダンスの関連性を捉えるモジュール「Choreomusical Embedding」を組み込んだ。

　このモジュールでは、ペアになっている／なっていない音楽とダンスモーションシーケンスの両方を含むアノテーションされたデータベースから、音楽とダンスの適切なスタイルとリズムの関係性を把握する。このモジュールを組み込むことで、音楽リズムに合った自然な関節の動きを生成できたという。