大塚 愛のオンラインライブ、演出担当は“AI DJ”!? 無類のステージを作るエイベックス×ネイキッドの挑戦

[PR／ITmedia]

PR

　シンガーソングライターの大塚 愛さんがオンラインライブで「さくらんぼ」を歌唱した。ステージ全体に四角形や星型のエフェクト、Twitterから集めたコメントが投影される凝った演出のパフォーマンスだった。実は、この演出を手掛けたのはプロの演出家ではなく“AI DJ”だ。

　大塚 愛さんの動きや表情の変化などを読み取り、特殊なエフェクトを混ぜた映像をAIがリアルタイムに生成して投影している。その時々で演出が変わる、唯一無二のステージが生まれるのだ。

　さらに、AIが織りなす演出を見た大塚 愛さんは、より面白い演出になるように身振りを大きくするなどアドリブで動きを変化させていた。人間のアーティストとAIが共鳴し合い、化学反応を起こしたことで生まれたライブパフォーマンスといえる。

　このライブの裏側をもっと知りたい――そんな思いでAI開発やライブ開催に携わったエイベックス・エンタテインメント、エイベックス・デジタル、演出面を担当したクリエイティブカンパニーのネイキッド、技術提供した日本マイクロソフトに話を聞いた。

オンラインライブの様子。中央に立つ大塚 愛さんを光のエフェクトが包んでいる。

生の演奏でコラボするのは初めて――AI「HUMANOID DJ」×大塚 愛さん

　大塚 愛さんがパフォーマンスを披露したのは、日本マイクロソフトが2021年10月に開催したオンラインイベント「Microsoft Japan Digital Days」のフィナーレを飾る生配信のライブだ。見どころは大塚 愛さんの歌唱と「Azure AI」上に構築したAI DJ「HUMANOID DJ」による映像や光のエフェクトを多用した演出だった。

　HUMANOID DJはエイベックス・デジタルとネイキッドが共同で開発したAI。カメラやセンサーを使ってパフォーマーや観客の表情や動きのデータを収集し、それを基に音楽を演奏したり空間演出をしたりする。これまで、中国・上海市や幕張メッセのイベントなどで活躍している。（開発経緯や活躍はこちら）

　これまでHUMANOID DJは観客がいるイベントで来場者の感情を読み取って演出に生かしてきた。しかし今回はオンラインライブのため観客の感情を演出に取り入れられない。そこでTwitterのツイートや大塚 愛さん自身の表情を活用した。人間と生の演奏でコラボするのは初めての試みだった。

大塚 愛さんとHUMANOID DJがコラボしたパフォーマンスの様子

　HUMANOID DJの演出面を担当しているネイキッドの川坂翔さん（クリエイティブディレクター）は、演出の見せ方にもこだわった。ライブ映像では画面いっぱいに光のエフェクトがキラキラと映るが、これは合成ではない。一般的には映像の上にエフェクトを合成処理して配信するが、今回はステージに透過率の高い薄い幕を張って映像やエフェクトを直接投影した。

ネイキッドの川坂翔さん（クリエイティブディレクター）

　「会場に薄い幕を張るというのは、観客が直接見られないというオンライン配信の弱点を逆手に取った方法です。映像を合成する方法ではパフォーマンス中のアーティストがどんな演出になっているのか見られません。撮影用カメラと大塚 愛さんの間に張った幕にプロジェクションマッピングをすることで、主役の大塚 愛さん自身もHUMANOID DJの演出を見ながら歌えます。本人も観客の一人として楽しめるのです」（川坂さん）

　今回のライブでパフォーマンスを披露した大塚 愛さんは、HUMANOID DJが演出したライブを観客としても見たかったと話す。今後のエンタテインメント×AIやテクノロジーの可能性について「例えばライブの背景が宇宙空間など別の場所になったり、パフォーマンスしている自分が一瞬でバーチャル（なアバター）に切り替わったりと、現実なのかうそなのか分からなくなっていくエンタテインメントの新しい形にとても期待しています。これからの発展が楽しみです」と語った。

「AIで感情を読み取れるなら、場を盛り上げられる」

エイベックス・エンタテインメントの油井誠志さん（レーベル事業本部 室長兼ゼネラルプロデューサー）

　HUMANOID DJ開発の背景を聞くと、エイベックス・エンタテインメントの油井誠志さん（レーベル事業本部 International Business Design Div.室長兼ゼネラルプロデューサー）は、AIで感情を読み取れるなら会場の空気を読んで場を盛り上げることができると考えたことが発端だと説明した。「（DJとして作り上げていく中で）テクノロジーだけにフォーカスすると目新しさや機能に集中しがちですが、お客さんがどう感じるかを大切にしています」（油井さん）

　感情分析や観客目線の演出は、大塚 愛さんのライブでも色濃く表れている。今回のライブでは、大きく3種類のデータを使ってHUMANOID DJが演出を手掛けた。1つ目は、スタジオ内に設置したカメラや大塚 愛さんが身に付けたモーションセンサーから表情や動作に関するデータだ。「Azure Cognitive Services」の一つである、顔認識技術で表情を読み取って感情を分析する「Face API」をベースに、会場に設置したカメラで取得したデータから「幸福」「怒り」「驚き」といった感情を分析してパラメータ化した値を基にHUMANOID DJが光や映像の演出を行った。

Azure Cognitive Services Face APIを使い、カメラで認識した大塚 愛さんの表情から感情を分析している様子

　2つ目は特定のハッシュタグが付いたツイートだ。「Azure Cognitive Service for Language」の機能群の一つで、テキストから意味やキーフレーズを抽出できるソリューション「Text Analytics」を利用した。今回のライブ中に実際にツイートされたテキストを基にポジティブ／ネガティブ分析して演出に生かしたり、特徴的なツイートを抽出してHUMANOID DJを介して投影したりした。オンラインライブでも観客とのつながりを大切にした演出だ。

　3つ目はステージ上の奏者が演奏するキーボードの音程、音長、強弱といったシンセサイザーのMIDI（Musical Instruments Digital Interface）データだ。生の演奏とコラボするため、演奏と演出がずれるとパフォーマンスが破綻してしまう。そこでキーボードの鍵盤を弾いたタイミングと演出を同期することでズレを回避した。

　3つのデータを活用した演出を人間が行うには多くの人手が必要だ。「人間が演出やパフォーマンスをすることはなくならないものの、手足や目は一組しかないので一人でできることには限界があります。今回のライブでも大塚 愛の動きに合わせて演出をするには5人くらい必要です。しかしAIなら手が20本で脳が4つで――といった働きをしてくれるので、AIの力を感じました」（油井さん）

エイベックス・デジタルの山田真一さん（事業管理本部 デジタルクリエイティヴグループ ゼネラルマネージャー）

　さらにエイベックス・デジタルの山田真一さん（事業管理本部 デジタルクリエイティヴグループ ゼネラルマネージャー）は、言語の壁を超えて世界展開できる可能性に期待している。歌は日本語だが、演出を行うDJの機能は言語に縛られないため、HUMANOID DJを海外で使っても力を発揮する。さらにAIを複製すれば世界各地で同時に使うことも可能で、人の力を拡張できるのだ。

HUMANOID DJの基盤にはAzureを活用

　HUMANOID DJの出発点は、Face APIだ。エイベックス・デジタルがイベント来場者の感情分析に使っていたとき、油井さんが「感情データが取れるなら、その後はどうするの？」という問いを投げたことがAI開発につながった。

　HUMANOID DJはAzure上で稼働するアプリケーションだ。コアの部分はWebアプリケーションとして展開しているが、その裏ではAzure Cognitive Servicesが動いている。

　大塚 愛さんのライブでは、カメラで撮影した大塚 愛さんの映像をクラウドに送り、Face APIで感情分析をした。Face APIで「幸福」「驚き」「悲しみ」「怒り」など8種類の感情を分析し、パラメータ化してHUMANOID DJに渡している。ツイート内容の分析には「Text Analytics」を活用した。

　クラウド経由の処理をすることでデータのやりとりに若干のタイムラグが発生するが、ライブには影響ないレベルだ。演出もタイムラグを考慮して設計していた。なお、モーションセンサーで取得したデータについては、データ量が軽いので会場のローカル環境で処理している。

　ライブ本番ではAzureの各サービスやHUMANOID DJに関わるトラブルは一切なく、システムは全体的に安定していた。むしろ生配信という限られた時間の中でリハーサル準備や会場設営をすることのほうが難しかった。

HUMANOID DJはマイクロソフトからみても世界的に珍しい

　日本マイクロソフトの田中啓之さん（Azureビジネス本部 プロダクトマーケティング部 部長）は、HUMANOID DJの取り組みが世界的にも事例のない珍しいものだと話す。演出を行うAIの多くは実証段階にすぎないが、HUMANOID DJは実用段階に入っていると高く評価する。「エンタテインメント領域でマイクロソフトのAIを使ってくれているのは、エイベックスの先進性があってこそです。ぜひ一緒に世界に展開していきたいです」（田中さん）

　山田さんも日本マイクロソフトに大きな期待を寄せている。山田さんはエイベックスにWEBサーバが1台しかない頃から働いており、エイベックスのデジタル分野のビジネスが成長するのに合わせてさまざまなITベンダーと付き合ってきた。

　「マイクロソフトは課題に寄り添ってくれるので助かります。またマイクロソフトは国内での長い経験も強みです。マイクロソフトには他社に負けない優れた製品を出し続けることを期待しています」（山田さん）

　山田さんはHUMANOID DJのような面白い取り組みをマイクロソフトと一緒に進めていきたい考えだ。中でも、マスクを付けた人の顔認識や感情分析の実現を強く期待している。

　HUMANOID DJの今後はどうなるのだろうか。川坂さんは、オンラインイベントでも観客の感情を演出に生かす方法を模索している。スマートフォンやPCに搭載されているカメラを使って観客の顔を映して感情を読み取ることが一つの案だ。コロナ禍が落ち着き、リアル会場でオフラインのイベントを実施するときは、スマホやペンライトと連携することも考えている。

　「エンタテインメント業界の市場規模はそこまで大きくありません。しかし、掛け算をすることで新しい価値が生まれます。HUMANOID DJが、マイクロソフトを筆頭にさまざまな業種の人とコラボレーションして新しい価値を作るひな型になってほしいと考えています」（油井さん）

左から川坂さん、油井さん、山田さん