「本物の嵐と区別つかない」と話題 AIが歌う「A・RA・SHI」の裏側 再現度のカギは?(2/2 ページ)
アイドルグループ「嵐」の歌声をAIが再現するジェネレーター「A・NA・TA for DREAM」が9月14日にリリースされ、Twitterなどで話題に。プロジェクトの技術的背景や仕組みを、開発元に聞いた。
学習用にメンバーが歌う童謡を新たに収録
機械学習用の音源は、過去の楽曲のボーカルトラックから抜き出したものを利用したと前述した。しかし、大浦CEOによれば、今回のプロジェクト用に新たに一部スタジオ収録した音源も活用しており「過去の楽曲では登場しない『みゃ、みゅ、みょ』のような特殊な音声を収録してもらいました」としている。その際、単に発語するのではなく、童謡の歌詞の一部を『みゃ』などの言葉に変えて歌ってもらうことで、AIが学習しやすくしたという。
筆者自身、いろいろな歌詞を入力し、歌声合成を試した際に感心したことがある。自分の夢を語る部分のテキストは、8~16文字と指定されている。しかし、オリジナルの「からだじゅうにかぜをあつめて」は全部で14文字だ。当然ながら、オリジナルの譜割(音符に対する歌詞の割り当て)に対し、字足らず字余りの状況も起こり得る。この部分の処理も見事で、字足らず字余りの歌詞でも、納得できる譜割で歌ってくれる。
「足りない部分は長音で伸ばし、字余りのところは、2文字を1音に割り当てる処理を行っています。入力された言葉を解析して、統計学的な情報をもとに処理する仕組みです。今回のプロジェクトのために、譜割専用のプログラムを開発し実装しました」(大浦CEO)
そこで、いじわるな実験をしてみた。オリジナルと同じ歌詞「からだじゅうにかぜをあつめて」と入力すると、AIはオリジナル通りに歌うのか、という疑問だ。結果は、オリジナルとは異なっていた。次の楽譜は上がオリジナルで、下が歌声合成出力したものだ。
上がオリジナルで、下が歌声合成出力した譜割。最後の2つの16分音符は、次の歌詞の「まきおこせ」の「まき」がアウフタクト(弱起:メロディが前の小節に食い込む形で始まること)として割当られる。あくまでも簡略化した記譜であることをお許しいただきたい
この相違点について、大浦CEOは「『からだじゅう』の『う』を入力しているからです。実際の歌では『からだじゅー』と音引きして歌われます。試しに『からだじゅに』と『う』を省略して歌わせると、かなり近くなると思います」と説明する。『う』を省略して試してみると、確かにオリジナルと同じ譜割で歌ってくれた。
ヤマハの「ボーカロイド」と何が違うのか
歌声合成の分野では、ヤマハの「VOCALOID」(ボーカロイド)が有名だ。しかし、テクノスピーチの歌声合成とボーカロイドは、技術的なアプローチがまったく異なる。ボーカロイドはあくまでも、歌詞付きで歌メロを奏でる楽器という位置づけだ。声優などの声をサンプリングした上で、入力された歌詞と音符に対し、サンプル音源を鳴らす、という考え方で構築されており、今回のようにAIが本人の歌を学習し、歌声を作り出すというものではない。
ただし、2019年末の紅白歌合戦で話題になったヤマハの「AI美空ひばり」は、テクノスピーチの考え方に近い技術で歌声合成を実現している。とはいえ、AI美空ひばりは、紅白歌合戦で歌唱させることを目標にしたプロジェクトだ。一度だけのステージを完璧にやり遂げることが最大の目標だ。
そのため、機械学習で構築した美空ひばりの歌声を、技術者が自らの経験則に裏打ちされたスキルを駆使しパラメーターの調整を行うことで、あの歌を実現している。いうなれば、属人的な職人芸に支えられているわけだ。一方で、「A・NA・TA for DREAM」は、人間の手が一切加わることのない、完全に自動化された純粋なAIによる歌声合成である。
大浦CEOによると、今回のプロジェクトは、AIによる歌声合成の最先端技術を投入して実現したという。アート系のクリエイティブコンテンツの生成は、AIにとって苦手な領域という見方もある。しかし、歌声合成された嵐の歌を聴いていると、遠くない将来には、AIが多くの人を魅了する作品を生み出す日がやってくるのではないか、という可能性を感じることができた。
関連記事
- 嵐の歌声をAIが再現 「A・RA・SHI」の替え歌ジェネレーター登場 「違和感ない」とファン驚き
嵐のデビュー曲「A・RA・SHI」の替え歌を作れるジェネレーターが登場。ユーザーがサビの歌詞を任意の言葉に入れ替えると、メンバーの声を学習したAIが歌う。Twitterでは「違和感無くてビックリ」と話題に。 - “AI美空ひばり”きょうの紅白歌合戦に登場 新曲「あれから」披露
NHK総合で放送された番組で話題になった「AI美空ひばり」が、12月31日放送の紅白歌合戦に登場。新曲「あれから」を披露する。 - VTuberが歌声合成ソフト音源に CeVIO AI音源「可不」を冬発売
タレント事務所KAMITSUBAKI STUDIOが、歌声合成ソフト「CeVIO AI」向けにVTuber「花譜」をモデルにした音源「可不」を冬に発売する。 - AIだけで曲を作ったら”人っぽい部分”が見えてきた 作詞作曲、歌、仕上げも全部AI
AI歌声合成ソフト「NEUTRINO」が2月に登場し、話題になったのを見て、私は「作詞や作曲、仕上げをするAIはすでにある。AIだけで曲を作れるのではないか」と考えた。全工程をAIが担当した楽曲を作ってみると、AIの人間らしさや、AIとの関わり方が見えてきた。 - 「“ボカロ”といえばVOCALOID」に変化? 新歌声合成ソフトのリリースが加速
「歌声合成ソフトといえばVOCALOID」という状況が長年続いてきた歌声合成ソフトの業界で、新歌声合成ソフトや周辺製品のリリースが急加速している。VOCALOID音源ベンダーが他のソフト用の音源を作る流れも生まれている。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.