京大、ピアノ演奏を“耳コピ”するAIを開発 ゆゆうたさんなどの演奏を採譜したデータも公開

[松浦立樹，ITmedia]

　京都大学の研究チームは6月15日、ピアノの演奏データから楽譜を自動で書き起こすAIを開発したと発表した。実際に採譜したデータも公開していて、専用のWebページではピアノを演奏するYouTuberの鈴木ゆゆうたさんなどの動画と、動画からAIで採譜した楽譜を比較できる。

京大がピアノの演奏データから楽譜を自動で書き起こすAIを開発

　研究チームは、音声信号の中で各時刻にどの高さの音が鳴っているのかを推定する「多重音高検出」技術と、各音符の発音時刻と音の長さを一拍の時間単位で認識する「リズム量子化」技術を取り入れた自動採譜システムを作った。さらに、音符同士の関係性の統計データを使うことで、採譜精度をさらに改善させることができたという。

　多くの音楽の楽譜は、訓練された専門家の手により書き起こされている。この作業には多くの時間を必要とするため、コンピュータによる自動化の研究が進められていた。しかし、ピアノ演奏のような複数の音が重なった音楽では、ピッチとリズムの複雑な組み合わせを認識する必要があるため、自動化は難しい問題とされていたという。

　この技術は、ピアノ以外にもギターやドラムなどの楽器や歌声にも応用ができるため、ピアノはもちろん、多様な楽器を編成した音楽の自動採譜も期待されるという。一方で、研究チームは「自動採譜技術は音楽の盗用も容易にするため、著作権法の整備も進めていく必要がある」ともコメントしている。

専用Webページで、鈴木ゆゆうたさんの演奏動画と、AIが採譜した楽譜が演奏する音楽を聴き比べできる

　この研究成果は、情報やコンピュータの国際学術誌「Information Sciences」のオンライン版に2021年3月13日付で掲載された。