高校生とAIが現代にモーツァルトをよみがえらせた そこには人とAIが共存可能な未来が見えた

[PR／ITmedia]

PR

　日本の高校生が、人工知能（AI）を使ってモーツァルトの楽曲を現代風に再定義するプロジェクトがある。

　「Project Z」と名付けられたこの取り組みには高校生に加えて、PCメーカー・日本HPを中心とする企業やプロクリエーターが機材、技術、クリエイティブ面のサポーターとして参加。「もし現代にモーツァルトが生きていたら」というテーマで、AIにモーツァルトの楽曲や彼が遺した手紙の文章を機械学習させることで「モーツァルトの新曲」を現代に生み出そうというものだ。

AI活用スキルが問われる学習データの構築

　この世にいない人の新曲を生み出す──この“無謀”とも思えるプロジェクトに挑んだのは、開成高等学校、武蔵野大学附属千代田高等学院、広尾学園高等学校、立教池袋高等学校から応募した18人の生徒たち。それぞれがチームに別れ、AIを使ったメロディー作りに取り組んだ。

　筆者が“無謀”という言葉をあえて使ったのには理由がある。1756年にオーストリアで生まれたヴォルフガング・アマデウス・モーツァルトという天才作曲家は、3歳から鍵盤楽器のチェンバロを弾き始め、5歳には作曲を行い、神童の名を欲しいままにしていたという。35歳で没するまで多岐にわたるジャンルで700曲の作品を遺している。

　モーツァルトの没後、230年近くをたった今でも彼の音楽は愛され、世界中で演奏されている。そんな歴史的偉人の作風をAIで現代によみがえらせるわけだから、これは極めてチャレンジングなプロジェクトと言わざるを得ない。

　実際の作業はまず、AIに読み込ませるためのMIDIデータを高校生が作成する。その際、モーツァルトの楽曲の中から好きなメロディーを自ら選んでいく。ただし、単に好きなメロディーを読み込ませるだけでは楽曲として使える成果物は得られない。

　読み込ませる楽曲数、小節数、パラメータ調整といった部分で、事前に最適な学習アルゴリズムの構築が必要だ。最適解を見つけるための作業は試行錯誤の繰り返しであり、ブラッシュアップを行いながらMIDIデータを完成させていく。AI活用のリテラシーが問われる場面でもある。

深く追求すればするほど、難しい課題が立ちはだかる

　当事者達のコメントを引用しながらプロジェクトの実態を紹介しよう。高校生達は2019年3月初旬のキックオフ後、学習アルゴリズム構築のための講習を受けると同時に選曲作業に入った。そして、4月には実際のMIDIデータ作成と機械学習の作業が始まった。

広尾学園高等学校の村田有生喜さん

　機械学習を実行するプラットフォームとして、Googleが提供する「Magenta」を活用。Magentaはディープラーニングの研究成果を音楽、芸術、映像などのアート分野に生かそうというオープンなプロジェクトだ。自分のPCに環境を構築した上で、クラウド上のAIにMIDIデータを読み込ませることで、音楽の機械学習が可能となる。

　今回は開成高等学校の中澤太良さん、広尾学園高等学校の村田有生喜さん、森彩花さんの3人で構成されたチーム「ビタミンC」がAIで作り出したメロディーが主に採用された。

開成高等学校の中澤太良さん

　三人はいずれもAIについて「未知の世界だった」と、学習データ作成時の苦労について口をそろえる。村田さんは「AIに楽曲データとして数十曲を読み込ませるのですが、調をそろえる必要がありました。バンドで音楽経験はありましたが、正式な音楽教育を受けていたわけではないので、その作業に時間がかかりました」と明かす。

　中澤さんは「学習アルゴリズムの構築作業を始めた当初は、思ったほどハードルが高くないと感じました。しかし、自分の理想に近づけるために深く追求すればするほど、難しい課題が次々と現れ、その解決に苦労しました」と訴える。

広尾学園高等学校の森彩花さん

　一方、学校のプログラミング授業でPythonを習った経験がある森さんは「Pythonの経験が生かせるので大丈夫と思い参加しました。しかし、Magentaの理解度を高める部分に困難を感じました」と顔を曇らせる。しかし、森さんの場合、一時は音楽系の学校を目指し、電子オルガンやクラリネットの演奏経験もあるだけに、音楽的な部分での理解は早かったようだ。

　上記のコメント以外にも、モーツァルトらしさを追求するために、よりたくさんの楽曲を学習させると、「過学習」状態となり、適切なアウトプットが得られないこともあったという。機械学習について少しでも知識のある人であれば、まさに高校生達が試行錯誤する様が思い浮かぶであろう。

「素材」を生かすために、シンプルなアレンジに徹する

マリモレコーズ代表取締役の江夏正晃氏

　次の段階で、高校生が苦労して作り出したメロディーにプロの音楽家がアレンジを施して楽曲として完成させる。モーツァルトの新曲としてAIが紡ぎ出した音符の配列が「素材」だとしたら、それを人間の音楽家が「料理」するようなイメージだ。今回は作曲家やプロデューサーとして幅広く活躍しているマリモレコーズ代表取締役の江夏正晃氏が「料理」を担当した。

　江夏正晃氏は「高校生達が苦労してAIで生成したメロディーは、まさにモーツァルトそのものでした」と熱く語る。さらに「モーツァルトが現代に生きて『アイネ・クライネ・ナハトムジーク』の続編を作るとしたらこのメロディーしかないと確信しました」とも。

　ただ、モーツァルトの作風を学習したAIが生み出したメロディーに対し、人が手を加えてしまうと「らしさ」が減衰してしまうのではないか。これに対し江夏正晃氏は「メロディーには一切手を加えていません。アレンジも『素材』を生かすことを心掛け、極めてシンプルなアプローチに徹しています。高校生の発想を台無しにしたくはありませんから」とその心配を否定する。

　江夏正晃氏の言葉を記者なりに解釈するならこうだ。農家がオンリーワンな野菜を育てるために、環境、農法、養分などを試行錯誤する。これが今回、高校生が行った作業とすると、その収穫後の成果物がAIの紡いだメロディーだといえよう。

　そのオンリーワンである野菜の風味や特徴を最大限引き出す料理人が江夏正晃氏であり、完成させた料理には、素材としての野菜の風味や特徴がしっかりと受け継がれているということだ。

モーツァルトがしたためた手紙をAIが学習

　このプロジェクトは作詞も大きなテーマである。モーツァルトが現代によみがえり、作詞をしたらどのような歌詞を紡ぐのかという実験も行われた。実はモーツァルトはたくさんの手紙を遺している。今回、彼の手紙をOCR（光学的文字認識）でテキスト化してAIに学習させた。同時に、歌詞に現代的なテイストを注入するため、過去10年間のビルボードトップ100の歌詞も合わせて学習させたという。

　このような作業を経て、AIが生成した1万ワードにも及ぶ文字列の中から、歌詞として通用するフレーズを抽出し、組み合わせることで「モーツァルトが現代によみがえり、詞を作ったらこうなる」という言葉の並びを完成させた。作品名の『Ten Million Nights』は、その中の一節から拾ったものだ。

映像作家でマリモレコーズ専務取締役の江夏由洋氏

　歌詞として完成させる過程で、日本語のパートはプロの作詞家が補作という形で手を加えている。単にAIが生成した言葉は文字の羅列の域を脱しないが、人手によるフレーズの抽出と作詞家による補作を行うことで、モーツァルトの感情が移入された歌詞が完成する。

　ただ、一説によるとモーツァルトの手紙には、上品とはいえない言葉も散見されるという。さらに、ビルボードトップ100ともなると、俗っぽい内容のラップやありがちな慣用フレーズで埋め尽くされたラブソングも多数含まれているはず。それらを学習したAIが、歌詞として通用する言葉を生み出せるのか。

　作品の詞を担当したマリモレコーズ専務取締役で映像作家、そして江夏正晃氏の実弟でもある江夏由洋氏は、「確かに汚い言葉もたくさんありましたが、その中に拾い上げるに値する、すてきなフレーズもあります。そんな言葉を丹念に選びだし、構成したのが今回の歌詞です」と胸を張る。

世界初の「96KHz/24ビット」ハイレゾ・イマーシブオーディオ作品

　ここまでの工程で出来上がった詞をAIが生成したメロディーに乗せ、プロのシンガーによる歌を録音して楽曲を完成させた。楽曲はステレオ2チャンネルの通常の録音ではなく、音像を立体的に構築できる64チャンネルの96KHz/24ビット、ハイレゾ・イマーシブオーディオ作品として仕上げた。江夏由洋氏によると「イマーシブオーディオ作品としては世界初の試み」だという。

　さらに作曲の作業と並行して、楽曲を彩るための8K映像作品も江夏由洋氏が制作した。内容は、今回の斬新な試みにふさわしい舞台演出として、虚無空間で縦横無尽に舞うバレエダンサーの踊りを映像に収めた。

　映像においても音楽同様、凝った仕掛けが施されている。単にダンサーの実写映像を流すだけでなく、映像演出家・中田拓馬氏のプログラミングにより、デモ展示の会場に設置したカメラ映像の動きを粒子の流れとして反映、表現する画像処理が加えられていた。このレンダリング処理はリアルタイムに行われるため、音楽とともに上映される都度、毎回異なる表情を魅せてくれる。

たった1台のPCで全ての処理を完結

　実際に立体配置の12個のスピーカーと1つのサブウーファー（12.1ch）環境で、イマーシブオーディオを体感してみると、異次元の没入感を得られた。囲むように置かれたスピーカーの真ん中に立つと、脳幹を中心とした音像空間が球体状に広がるように感じられる。

　ボーカリストは脳の中心で唄い、ベースやキックの音は地の底から体を突き上げるように鳴り響く。そして、ハイハットの音は、後頭部に突き刺ささり、パッド系のシンセサイザーはカラダを包み込むようにして皮膚の毛穴1つ1つから染み込んでくる。通常のステレオ再生では得ることのできないリッチな音響体験だ。

　デモ展示の機材面でも記者を驚かせたことがある。会場に設置されたPCは、日本HP製のタワー型のワークスーションが1台設置されているのみ。この1台でハイレゾ64チャンネルのイマーシブオーディオの送出に加え、画像処理された8K映像をリアルタイムで生成している。江夏由洋氏によると「マシンの80％程度の能力を使って処理しています」と明かす。1台のマシンで音声と映像の重たい処理を同時並行で行えることに驚きを隠せなかった。

　Windows 10 Pro 搭載のHP Z8 G4 Workstationは、ベースグレードとして6コア6スレッドのインテルXeon Bronze 3104プロセッサとNVIDIA Quadro P400のグラフィックスカードを搭載するワークステーションだ。用途に応じてインテル Xeon Platinum 8200プロセッサの搭載にも対応し、デュアル・プロセッサー構成なら最高48コア、96スレッドのシステムを実現。3DCGやCAE／CADなどのクリエイティブ、膨大なデータを処理するAIなど、用途に応じて高い拡張性と究極のパフォーマンスを追求できる製品に仕上がっている。

　Project Zでは、HP Z8 G4 Workstationのメモリを96GBまで拡張し、NVIDIA Quadro P400のパワーを最大限活用して8K映像をレンダリングした。江夏由洋さんは当時を次のように振り返る。

　「時間がなく、ワークステーションの電源容量ギリギリのところでマシンを動かし続けました。一つのPCで8K映像を描画しながら、1500トリック以上のハイレゾ音源を再生する──夢のような環境です。時間が無かったのでマシンが壊れない前提で作業を進めていましたが、自分たちの可能性を合わせてチャレンジできたことが楽しく、達成感がありました」（江夏由洋さん）

　「画家にとっての絵の具、彫刻家にとっての彫刻刀とするなら、現代のクリエイターにとってはコンピュータがそれにあたるでしょう。ツールでクリエイターの表現力が上がります」（江夏正晃さん）

AIを身近に感じる貴重な経験を得た高校生たち

　モーツァルトの楽曲を現代によみがえらせるという今回のプロジェクト。江夏由洋氏は「AIが生成したメロディーは、プロの作曲家からすると違和感があります」と正直な気持ちを吐露する。だが、それは新しい何かが生まれようとしている証しではないだろうか。

　18世紀当時、モーツァルトは、作品にさまざまな様式を変幻自在に取り入れた。楽曲の中には、当時としては先進的な表現もあったという。そんな先進的な作風に触れた当時は、違和感を覚える人もいたはずだ。今回、プロの作曲家が感じた違和感も人間とAIがコラボして音楽を作り上げる時代になると、もしかしたら当たり前な表現になっているかもしれない。

　普通の日常生活を送る庶民からすれば、世間を賑わせるAIは理解の範囲を超えたブラックボックス的存在だ。しかし、新しい音楽が高校生とのコラボレーションにより生み出される過程を間近に目撃したことで、AIが身近なものに感じられた。

　高校生とクリエイターがAIで実現した「もし現代にモーツァルトが生きていたら」──プロジェクトから生まれた楽曲は特設ページでチェックできる。