Innovative Tech

人が弾くピアノに合わせて演奏する仮想バイオリニスト　他者演奏の音声から演奏の動きと音を自動作成

公開 2021年03月10日 10時26分

更新 2024年04月02日 11時39分

著者

山下裕毅

[ITmedia]

印刷する Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中央研究院資訊科学研究所とKoKo Labによる台湾研究チームが開発した「A Human-Computer Duet System for Music Performance」は、人の演奏とセッションするバーチャルミュージシャンを作り出すフレームワークだ。人が弾くピアノのテンポに合わせて、バーチャルミュージシャンがバイオリンを演奏する。

システムの概要図

　今回の手法では、演奏の音声だけを手掛かりにバーチャルミュージシャンの動きとサウンドを生成し、人間と共演させる。

実際にライブセッションしている様子

　演奏する楽曲には、基準となるピアノとバイオリントラックが含まれていることを前提とする。演奏者はリファレンス音源用として、事前にピアノパートのみを録音しておく。ライブ演奏時は、マイクでピアノ音をモニタリングし、リファレンストラック上のどこを演奏しているかをモニター。分析結果からバイオリンパートがどのように演奏されるべきかを推定し、バーチャルミュージシャンの体の動きとサウンドを生成する。

　演奏の動きは、バイオリン演奏のミュージックビデオデータセットを用い、モーションデータを収集し生成モデルを学習させている。生成されたスケルトンデータは、3次元の人間用リギングモデルと、バイオリン本体と弓から構成するバイオリンモデルに割り当てる。