AIがDJプレイ――観客の感情を分析し、音楽がリアルタイムに変化 東京・日本橋でイベント開催中

[村上万純，ITmedia]

　カメラで撮影した観客の表情をAIで解析し、その場に合った音楽をリアルタイムに流す――。エイベックス・エンタテインメントと映像制作会社のネイキッドが、東京・日本橋でこんなパフォーマンスを実施している。

日本マイクロソフトのAI技術を用いた「HUMANOID DJ」のライブパフォーマンス

　パフォーマンスでは、両社が共同開発した技術「HUMANOID DJ」を使用。AIを用いて観客の感情などを分析し、音楽をリアルタイムに変化させる他、人の動きに合わせた映像の演出も行っている。

　会場は、「COREDO 室町1」で開催中のアート展「FLOWERS BY NAKED 2020 -桜-」（1月30日〜3月1日）の専用コーナー。両社が2019年1月に始めた共同プロジェクト「HUMANOID DJ project」の一環で実施している。

「HUMANOID DJ」を体感できるコーナー

観客の表情などをリアルタイムに解析　AIがDJプレイ

　FLOWERS BY NAKED 2020 -桜-は、「五感で楽しむ、体験型庭園」をテーマにしたアート展。映像、音、香りなどを用い、花をテーマにしたアート作品を展示している。

　HUMANOID DJを体感できるコーナーでは、30分ごとに音と映像によるライブパフォーマンスを実施。AIがカメラ映像を基に観客の表情から年齢、性別、感情などを分析し、あらかじめ用意された楽曲を自動選曲。楽器の音を挿入したり、流す楽曲を変化させたりして、即興でDJプレイを行う。

HUMANOID DJのシステム。画面下部で観客の表情を分析している様子が分かる

　ライブには、ダンサー3人も登場。ダンサーに装着した腕輪型の3軸センサーの情報を基に、ダンサーの動きに合わせた映像を制作し、大画面のスクリーンに投影する。映像は床面にも投影。ダンサーの足元に花びらが散らばったり、波紋が広がったりする演出を見られる。

　観客の表情分析には、日本マイクロソフトのAIサービスを使用。リアルタイムに近い形で画像を分析できるように、クラウドにデータを転送する形ではなく、カメラで撮影した画像をノートPC上で解析する方法を採用した。ダンサーのセンサー情報は数値化し、クラウドサービス「Microsoft Azure」上で処理したという。

　エイベックスとネイキッドは、HUMANOID DJの取り組みを通して、新しい音楽体験の可能性を探っていく考えだ。

アート展「FLOWERS BY NAKED 2020 -桜-」

音と映像を用いたアート作品が多数展示されている