音楽からふりつけを自動生成 ポップスやジャズなどに合わせてキャラクターがダンス:Innovative Tech
中国の研究チームは、音楽からキャラクターの振り付けを自動生成するダンスモーション合成システムを開発。ポップスやヒップホップ、ロック、ジャズなど、さまざまな音楽スタイルのリズムに応じた動きを作り出す。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国のNetEase Games AI LABと清華大学の研究チームが開発した「ChoreoMaster : Choreography-Oriented Music-Driven Dance Synthesis」は、音楽からキャラクターの振り付けを生成するダンスモーション合成システムだ。ポップスやヒップホップ、ロック、ジャズなど、さまざまな音楽スタイルのリズムに応じた動きを作り出す。
ダンスアニメーションの制作はコストが高いため、昨今では、音楽からダンスアニメーションを自動生成する深層学習フレームワークが開発され、いくつか報告されている。しかし、発展途上の技術なため、汎用性や制御性の低さ、音楽と動きが合っていないなど課題も多い。
これら課題に挑戦するため、今回は新たなフレームワークを導入し、音楽から高品質なダンスアニメーションの生成を行うシステムを提案する。
よく構成されたダンスは、体の動きが音楽のリズムに合わせて調整されている。振付師は、ドラムのビートやピアノのメロディ、人間のボーカルなど、さまざまな部分のリズムを適宜参考にし関節の動きを組み立てている。これをモデル化するため、プロのアーティストにデータベースのダンスのビートパターンを手動でアノテーションしてもらった。
ネットワークでは、ダンスモーションを生成するモジュール「Dance Synthesis」の前に、音楽とダンスの関連性を捉えるモジュール「Choreomusical Embedding」を組み込んだ。
このモジュールでは、ペアになっている/なっていない音楽とダンスモーションシーケンスの両方を含むアノテーションされたデータベースから、音楽とダンスの適切なスタイルとリズムの関係性を把握する。このモジュールを組み込むことで、音楽リズムに合った自然な関節の動きを生成できたという。
その有効性を確かめるため、30曲のテスト音楽を使用し、10人の振付師またはアーティストを含む35人の参加者に評価してもらった。結果は、他の類似モデルに比べて、このシステムの方が自然な動きをしているとプロの振付師を含め良好な反応を示した。
関連記事
- 「ポーズ」と「合言葉」がなければ開かない自動ドア、文教大が開発
文教大学川合研究室の研究チームは、音声と姿勢で認証する自動ドアの開閉システムを開発。自動ドアに設置したカメラで姿勢推定と音声認識を行い、あらかじめ決めておいたポーズと言葉が合致すれば開く。 - 電波を注入し、人間を充電器化 タイピングや車の運転中にスマートウォッチなどを充電
米マサチューセッツ大学の研究チームは、キーボードに触ってタイピングした際に自動でスマートウォッチのバッテリーを充電するシステムを開発。人間の体を経由して電力を供給する。 - 床の汚れをARで可視化 ゲーム感覚で掃除ができる“イカした”システム
青山学院大学ロペズ研究室の研究チームは、掃除箇所の汚れ度合を可視化し、掃除を促すシステムを開発。汚れている領域を掃除すると着色が除去されるため、ゲーム感覚で掃除が行える。 - 指を電気で強制的に操るデバイス、米シカゴ大が開発 楽器の演奏指導などに活用
米シカゴ大学の研究チームは、指を電気で刺激し、それぞれ操作できるハプティクスデバイスだ。電気的筋肉刺激と、指の関節に配置される機械的なブレーキが備わった外骨格デバイスで、装着者の指4本(親指を除く)を器用に制御する。 - 犬から人へ電話をかけられる「DogPhone」 愛犬は飼い主にどのくらい着信を入れるか検証
スコットランドのグラスゴー大学と、フィンランドのアールト大学の研究チームは、犬から人のスマートフォンへビデオ通話をかけられるボール型IoTデバイス「DogPhone」を開発。くわえて動かすことで、飼い主に電話をかけられる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.