「本物の嵐と区別つかない」と話題 AIが歌う「A・RA・SHI」の裏側 再現度のカギは?(1/2 ページ)
アイドルグループ「嵐」の歌声をAIが再現するジェネレーター「A・NA・TA for DREAM」が9月14日にリリースされ、Twitterなどで話題に。プロジェクトの技術的背景や仕組みを、開発元に聞いた。
アイドルグループ「嵐」の歌声をAIが再現するジェネレーター「A・NA・TA for DREAM」が9月14日にリリースされ、好評を得ている。Twitterでは「本物と区別がつかない」など、AIによる歌声合成の完成度の高さが話題になった。プロジェクトの技術的背景や仕組みを、開発元であるテクノスピーチの大浦圭一郎CEOに聞いた。
「A・NA・TA for DREAM」は、13の企業が嵐とコラボして、商品などのプロモーションを実施する「HELLO NEW DREAM. PROJECT」プロジェクト内のコンテンツ。ユーザーが専用サイトにスマートフォンでアクセスし、自分の夢をテキスト入力すると、デビューシングル「A・RA・SHI」のサビの一部を嵐が歌ってくれる、という内容だ。筆者も様々な歌詞を入力して試したが、歌声合成としての再現性はもちろん、音源(楽曲)としての完成度も高く、歌声合成もここまで来たのか、という感想を持った。
5人の過去音源をAIに学習させる
まず、最初にこの歌声合成の全体的な仕組みを説明しよう。文章だけでは伝わりにくいので、図も合わせてご覧頂きたい。仕組み自体は、大きく3つのプロセスに分かれる。
まず、AIが機械学習するためのデータを準備する。嵐のこれまでの楽曲から、ボーカルトラックのみを5人個別に抜き出した音源を用意し、その音源に対応する楽譜データも準備する。用意した楽曲はおおよそ50曲。音源は、AIが学習しやすいように人力で音程、テンポ、雑音等のチェック・修正を実施する。5人分あるので、相当な工数が必要になる。この作業に概ね1カ月を要したという。
今回のプロジェクトでは、5人が同じメロディで歌っている部分を合成するため、5人の音源に対し、同じ楽譜データを入力する必要があった。しかし、同じ楽譜データのままでは、AIが機械学習する際に各人の歌声を区別できず誤学習してしまう。そこで「あくまでも例えですが、各人の楽譜に異なる色をつけることで、同じ音符の並びであっても、AIが5人の歌声を区別して的確に学習してくれます」(大浦CEO)と説明する。
次に、準備したデータをもとに機械学習処理を実施する。Google Cloud Platform(GCP)やAmazon Web Services(AWS)といったパブリッククラウドを利用し、こちらも約1カ月をかけて学習させた。大浦CEOは、「GPU付きの機械学習エンジンをガンガン回すのでけっこうなクラウドの利用料が発生します」と笑うが、かかった金額については非公開としている。
最後に、今回のプロジェクト専用の歌声合成サーバを構築し、そのサーバに機械学習で得られたAIモデルを投入する。ユーザーが入力した未知の歌詞であっても、機械学習で得られた統計学的な情報をもとに、5人それぞれの音声で本人にそっくりな歌声を生成することができる。
歌声合成サーバは、単に歌を生成するだけでなく、バックトラックと5人のメンバーの合成音声をミキシングする機能に加え、エフェクトを施すマスタリング処理(楽曲の最終調整)の工程までをも自動で行っている。つまり、録音からマスタリングまでの一般的な楽曲の制作工程をこのサーバだけで実施していることになる。録音スタジオの機能や熟練サウンドエンジニアの知恵がまるごと収まっているようなイメージだ。
関連記事
- 嵐の歌声をAIが再現 「A・RA・SHI」の替え歌ジェネレーター登場 「違和感ない」とファン驚き
嵐のデビュー曲「A・RA・SHI」の替え歌を作れるジェネレーターが登場。ユーザーがサビの歌詞を任意の言葉に入れ替えると、メンバーの声を学習したAIが歌う。Twitterでは「違和感無くてビックリ」と話題に。 - “AI美空ひばり”きょうの紅白歌合戦に登場 新曲「あれから」披露
NHK総合で放送された番組で話題になった「AI美空ひばり」が、12月31日放送の紅白歌合戦に登場。新曲「あれから」を披露する。 - VTuberが歌声合成ソフト音源に CeVIO AI音源「可不」を冬発売
タレント事務所KAMITSUBAKI STUDIOが、歌声合成ソフト「CeVIO AI」向けにVTuber「花譜」をモデルにした音源「可不」を冬に発売する。 - AIだけで曲を作ったら”人っぽい部分”が見えてきた 作詞作曲、歌、仕上げも全部AI
AI歌声合成ソフト「NEUTRINO」が2月に登場し、話題になったのを見て、私は「作詞や作曲、仕上げをするAIはすでにある。AIだけで曲を作れるのではないか」と考えた。全工程をAIが担当した楽曲を作ってみると、AIの人間らしさや、AIとの関わり方が見えてきた。 - 「“ボカロ”といえばVOCALOID」に変化? 新歌声合成ソフトのリリースが加速
「歌声合成ソフトといえばVOCALOID」という状況が長年続いてきた歌声合成ソフトの業界で、新歌声合成ソフトや周辺製品のリリースが急加速している。VOCALOID音源ベンダーが他のソフト用の音源を作る流れも生まれている。
Copyright © ITmedia, Inc. All Rights Reserved.