米Metaは6月9日(現地時間)、音楽生成LMの「MusicGen」を発表した。ディープラーニングによる音声処理と生成のためのライブラリ「Audiocraft」の一部として、GitHubでオープンソース化した。商用利用も可能だ。
曲のイメージをテキストプロンプトで入力することで音楽を生成できる。オプションで、mp3形式のメロディデータを追加することも可能だ。
MusicGenは、米Googleが2017年に発表した深層学習モデル「Transformer」をベースにした音楽生成モデル。Googleが1月に発表した「MusicLM」のような従来の類似モデルとは異なり、自己教師型でセマンティック表現が不要だ。
MusicGenのトレーニングには、1万件の高品質な音楽トラックの内部データセットと、ShutterStockとPond5の音楽データを利用した。2万時間分のライセンス音楽を使ったとしている。
Audiocraftのインストールには、少なくとも16GBのメモリを備えるGPU、Python 3.9、PyTorch 2.0.0が必要。
デモがHuggingFace Spaceで公開されており、例えば「重厚なドラムとシンセパッドをバックに据えた、80年代のドライブ向けポップソング。テンポは130bpmで」としてバッハのトッカータとフーガの最初のフレーズのmp3を添えて生成ボタンをクリックすると、約2分でそれらしい音楽が生成される。
論文(PDF)によると、3サイズ(3億、15億、33億)のパラメータのモデルでテストしたところ、当然大きなモデルの方が高品質なオーディが生成できたが、人間は15億パラメータによる楽曲を最もよく評価したという。
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR