音楽からダンスを自動生成するAI振付師 Googleなど開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　南カリフォルニア大学、Google Research、カリフォルニア大学バークレー校による米研究チームが開発した「AI Choreographer」は、音楽からダンスの振り付けを作成する機械学習フレームワークだ。生成した振り付けを3Dキャラクターに転送しダンスアニメーションを作成できる。本物のダンサーから学習しており、リアルで滑らかな動きを生成する。

本手法の概要

　40人のプロダンサーが踊るソロダンス1510本、グループダンス108本含む動画数1万3940本で構成するストリートダンス動画データベース「AIST Dance Video Database」から3Dモーションを再構築した3Dヒューマンダンスモーションデータセット「AIST ++」には、2Dと3Dの両方での人の関節位置17カ所、24のポーズパラメーターなどのアノテーションが含まれる。

　このデータセットにより、非常に滑らかなダンスモーションを出力する。先行研究の2つのベースラインと比較する評価実験を行なったところ、本手法がより本物に近い動き、多様なダンスモーションを生成できることを示したとしている。生成された3次元の動きと音楽との相関についての評価も本手法が上回ったという。

　動画では、多様な音楽で踊る3Dキャラクターを確認できる。