Innovative Tech
歌声から伴奏を生成するAI「SingSong」 Googleが技術開発
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: @shiropen2
Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告である。入力した歌声に合わせてインストゥルメンタル音楽(インスト)を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。
SingSongは、音源分離とオーディオ生成の2つのモデルから構成される。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し、大規模な学習データを作成する。
次に、音声プロンプトを入力に残りの音楽を生成するGoogleが開発したモデル「AudioLM」を改良したモデルに対し、教師あり方式で音源分離データを学習させる。
これによって学習したモデルは、ボーカルの音声を受け取ると、そのボーカルに合うインストゥルメンタル曲を出力し、入力音声と生成したインストゥルメンタル曲をミックスした音楽を出力する。
実験では、複数の参加者にSingSongで出力した音源とベースラインで出力した音源、グランドトゥルース音源などを聞いてもらい、どのインストゥルメンタル曲がボーカルとより音楽的に適合しているように聞こえるかを答えてもらった。
その結果、ベースラインよりもSingSongのインストゥルメンタル曲の方が66%で好まれた。グランドトゥルース音源と比べた結果は、57%でSingSongのインストゥルメンタル曲が好まれた。
実験では10秒の音楽クリップを生成したが、長いサンプルで30秒の音楽クリップの合成も出力している。またプロのボーカル音源から合成したサンプルではなく、素人が歌った声を家庭用録音機で収録した音源から合成したサンプルも出力している。これらの音楽サンプルはプロジェクトページにて公開されており聞くことができる。
Source and Image Credits: Donahue, Chris, Antoine Caillon, Adam Roberts, Ethan Manilow, Philippe Esling, Andrea Agostinelli, Mauro Verzetti, Ian Simon, Olivier Pietquin, Neil Zeghidour and Jesse Engel. “SingSong: Generating musical accompaniments from singing.”(2023).
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech
2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
六花亭、カード番号全桁+セキュリティコード約8000件流出か 決済画面のプログラム改ざん
-
2
楽天証券の大規模漏えい、なぜテスト環境に顧客情報が? 「本番データでの確認が必要だった」
-
3
「楽天証券」漏えい、あなたは対象? ログインして「重要なお知らせ」確認を
-
4
Google、「Gemini 4 Neon」発表 「Carbon」と「Hydrogen」の中間を担うモデル、「Pro」プランでも利用可能
-
5
口座情報漏えいの楽天証券、「ワンタイムキー発行に時間がかかっている」 出金やログインパス変更に必要
-
6
ネットにつながらない携帯、KDDIが発売へ──誰向けなのか? 「スマホが電話の再発明なら、これは再再発明」
-
7
Google、AIエージェント機能「Tasks in Gemini」を日本を含む6カ国で無料提供 旧「Gemini Spark」
-
8
エディオン、クレカ番号+セキュリティコードも一部漏えいか 決済処理に不正プログラム、エラーログにも記録
-
9
NISA口座「もぬけの殻」に 不正アクセス被害者らが証券4社に原状回復求め調停
-
10
28年春導入の「手ぶら改札」 40駅の顔ぶれに透けるJR東の狙い 東京メトロも“陣営”入り
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR