人が弾くピアノに合わせて演奏する仮想バイオリニスト 他者演奏の音声から演奏の動きと音を自動作成：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中央研究院資訊科学研究所とKoKo Labによる台湾研究チームが開発した「A Human-Computer Duet System for Music Performance」は、人の演奏とセッションするバーチャルミュージシャンを作り出すフレームワークだ。人が弾くピアノのテンポに合わせて、バーチャルミュージシャンがバイオリンを演奏する。

システムの概要図

　今回の手法では、演奏の音声だけを手掛かりにバーチャルミュージシャンの動きとサウンドを生成し、人間と共演させる。

実際にライブセッションしている様子

　演奏する楽曲には、基準となるピアノとバイオリントラックが含まれていることを前提とする。演奏者はリファレンス音源用として、事前にピアノパートのみを録音しておく。ライブ演奏時は、マイクでピアノ音をモニタリングし、リファレンストラック上のどこを演奏しているかをモニター。分析結果からバイオリンパートがどのように演奏されるべきかを推定し、バーチャルミュージシャンの体の動きとサウンドを生成する。

　演奏の動きは、バイオリン演奏のミュージックビデオデータセットを用い、モーションデータを収集し生成モデルを学習させている。生成されたスケルトンデータは、3次元の人間用リギングモデルと、バイオリン本体と弓から構成するバイオリンモデルに割り当てる。

バーチャルミュージシャンの座標を表している

　デモでは、観客120人が参加したライブコンサートで、ベートーベンのバイオリン・ソナタ第5番「春」を演奏。約10分間に及ぶ演奏の全てで安定して動作し、観客からは高評価を得たという。

　動画はこちら。