　Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告である。入力した歌声に合わせてインストゥルメンタル音楽（インスト）を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。

SingSongの概要図

　SingSongは、音源分離とオーディオ生成の2つのモデルから構成される。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し、大規模な学習データを作成する。

　次に、音声プロンプトを入力に残りの音楽を生成するGoogleが開発したモデル「AudioLM」を改良したモデルに対し、教師あり方式で音源分離データを学習させる。

　これによって学習したモデルは、ボーカルの音声を受け取ると、そのボーカルに合うインストゥルメンタル曲を出力し、入力音声と生成したインストゥルメンタル曲をミックスした音楽を出力する。

　実験では、複数の参加者にSingSongで出力した音源とベースラインで出力した音源、グランドトゥルース音源などを聞いてもらい、どのインストゥルメンタル曲がボーカルとより音楽的に適合しているように聞こえるかを答えてもらった。

　その結果、ベースラインよりもSingSongのインストゥルメンタル曲の方が66％で好まれた。グランドトゥルース音源と比べた結果は、57％でSingSongのインストゥルメンタル曲が好まれた。

　実験では10秒の音楽クリップを生成したが、長いサンプルで30秒の音楽クリップの合成も出力している。またプロのボーカル音源から合成したサンプルではなく、素人が歌った声を家庭用録音機で収録した音源から合成したサンプルも出力している。これらの音楽サンプルはプロジェクトページにて公開されており聞くことができる。

評価実験で使用した多様なケースのサンプル音源

Source and Image Credits: Donahue, Chris, Antoine Caillon, Adam Roberts, Ethan Manilow, Philippe Esling, Andrea Agostinelli, Mauro Verzetti, Ian Simon, Olivier Pietquin, Neil Zeghidour and Jesse Engel. “SingSong: Generating musical accompaniments from singing.”（2023）.

Google、テキストから音楽を生成する「MusicLM」発表　リリースはせず
Googleは、テキストから音楽を生成するAIモデル「MusicLM」を発表した。多数のサンプルを聞くことができるが、著作権侵害などの恐れがあるため、現時点では公開はしない。
脳波を解読して聞いている音楽を特定するAI　70％以上の精度で識別　英国チームが開発
英エセックス大学に所属する研究者は、ユーザーの脳波を記録し解読することで、今聞いている音楽を特定し復元する深層学習モデルを提案した研究報告を発表した。
ベートーベンの楽曲に「三三七拍子」は入ってる？　音符36万個を学んだAIで調べる「Beethoven Beats」
ベートーベンの楽曲に三三七拍子のリズムは含まれているのか？　ピアノソナタ13時間分を学んだAIで調べられるWebアプリ「Beethoven Beats」を使ってみた。
ユーミン、紅白で“AI荒井由実”と本人コラボ　50年前の歌声をAI技術で再現
NHKは7日、大みそかに放送する「第73回NHK紅白歌合戦」の特別企画として、シンガーソングライターの松任谷由実さんが、AI技術により再現された50年前の自分と共演すると発表した。
会話で検索できる「新しいBing」、Microsoftがプレビュー公開　ChatGPT開発元の次世代モデル採用
MicrosoftはOpenAIの言語モデル採用の新モデル「Prometheus」採用のチャットbot付き「新しいBing」を発表した。英語版Bingで限定プレビューを試せる。同時に発表の「新しいEdge」には、AIを使って表示内容を要約したり新たなコンテンツ作成を支援する機能も搭載する。