「AI美空ひばり」の舞台裏　「冗談でやっていいことではない」──故人をよみがえらせたヤマハの技術者の思い（1/2 ページ）

　AIの技術を活用して、故人をよみがえらせる。

　まるでSFのような話だが、いよいよ現実になりつつある。歌声合成ソフトウェア「VOCALOID」を作ったヤマハがAI技術を活用し、1989年にこの世を去った美空ひばりさんの歌声を再現。NHKの番組で新曲を披露したのだ。

　ヤマハはNHK主導のプロジェクトに参加。機械学習の一種であるディープラーニング（深層学習）を駆使して美空ひばりさんの歌声を再現し、作詞家の秋元康さんがプロデュースした新曲「あれから」を、9月29日に放送されたNHKの番組内で披露した。生前の歌唱データや話声から美空ひばりさんの歌い方、話し方の癖を学習し、本人が歌ったことのない歌でも本人らしく歌うシステムを作り上げたのだ。

　「ひばりさんが生前多くの人に届けていた感動をもう一回届けたい」──ヤマハの研究者である大道竜之介さんはそう思って開発に挑んだという。

　番組が放送されたあと、Twitterでは「美空ひばり」がトレンド入りし、歌声合成技術、倫理、美空ひばりさんの音楽など、さまざまな視点から多くの議論を巻き起こしている。

　歌声そのものに対しては「美空ひばりさんに似ている」「合成音声っぽさが残っていて残念」など、賛否が分かれている。「思わず涙が出た」と、その歌声に感動する人もいれば、「テクノロジーを駆使した降霊術のようだ」と、故人をよみがえらせることへの恐怖や違和感を覚えた人も多かったようだ。

　ヤマハの研究者は何を考え、この技術を開発し新曲を公開したのか。今回は、実際に開発に携わったヤマハの研究者である大道さんと才野慶二郎さんにその裏側を詳しく聞いた。

歌い方や癖まで再現　方法は

　大道さんと才野さんはヤマハの研究開発統括部に属する研究者だ。今回のプロジェクトでは大道さんが歌声合成、才野さんが話声の合成を主に担当した。ディープラーニングを使うことで、それまでの手法では難しかった、声色の変化や歌い方の癖を再現できるようになった。

　今回ヤマハが作った技術を使えば、美空ひばりさんの新曲を好きに作れる。番組内では新曲「あれから」の他に、映画「アナと雪の女王」の主題歌「Let It Go～ありのままで～」も披露された。当然、美空ひばりさん本人はこれらの曲を歌ったことがないが、まるで本人が歌ったかのような音声を再現できる。

　ディープラーニングを使って歌声を合成するには、あらかじめ手本として美空ひばりさんの歌声をコンピュータに学習させる必要がある。NHKの協力もあって、歌声の参考となる楽曲は日本コロムビアから、話声の参考となる音声は、美空ひばりさんの息子さんから提供された。

　日本コロムビアから提供されたのは約1500の楽曲。息子さんから提供されたのは、生前の美空ひばりさんが自宅でカセットテープに録音した音声だ。仕事で家を空けるとき、自宅で待つ息子が寂しがらないように物語を朗読して残していた音声が、約2時間分保管されていた。家族や関係者の合意のもと、これらのデータをコンピュータに読み込ませ、学習モデルを作った。

この記事の著者

関連記事

• 

  「AI美空ひばり」を支えた技術　「七色の声」どう再現？　ヤマハ技術者に詳しく聞いた

• 

  故・hideさんの歌声、VOCALOIDでよみがえる　遺作「子 ギャル」完成

• 

  バーチャル三波春夫「ハルオロイド・ミナミ」無料公開、なんでも歌ってくれる　「東京五輪音頭」もリメイク

• 

  小林幸子さんの歌唱力が移植された「VOCALOID Sachiko」の秘密とは？

• 

  Facebook、ディープフェイク検出ツール開発イニシアチブ「DFDC」立ち上げ　MicrosoftとMITが参加