AIがDJプレイ――観客の感情を分析し、音楽がリアルタイムに変化　東京・日本橋でイベント開催中

　カメラで撮影した観客の表情をAIで解析し、その場に合った音楽をリアルタイムに流す――。エイベックス・エンタテインメントと映像制作会社のネイキッドが、東京・日本橋でこんなパフォーマンスを実施している。

　パフォーマンスでは、両社が共同開発した技術「HUMANOID DJ」を使用。AIを用いて観客の感情などを分析し、音楽をリアルタイムに変化させる他、人の動きに合わせた映像の演出も行っている。

　会場は、「COREDO 室町1」で開催中のアート展「FLOWERS BY NAKED 2020 -桜-」（1月30日～3月1日）の専用コーナー。両社が2019年1月に始めた共同プロジェクト「HUMANOID DJ project」の一環で実施している。

観客の表情などをリアルタイムに解析　AIがDJプレイ

　FLOWERS BY NAKED 2020 -桜-は、「五感で楽しむ、体験型庭園」をテーマにしたアート展。映像、音、香りなどを用い、花をテーマにしたアート作品を展示している。

　HUMANOID DJを体感できるコーナーでは、30分ごとに音と映像によるライブパフォーマンスを実施。AIがカメラ映像を基に観客の表情から年齢、性別、感情などを分析し、あらかじめ用意された楽曲を自動選曲。楽器の音を挿入したり、流す楽曲を変化させたりして、即興でDJプレイを行う。

　ライブには、ダンサー3人も登場。ダンサーに装着した腕輪型の3軸センサーの情報を基に、ダンサーの動きに合わせた映像を制作し、大画面のスクリーンに投影する。映像は床面にも投影。ダンサーの足元に花びらが散らばったり、波紋が広がったりする演出を見られる。

　観客の表情分析には、日本マイクロソフトのAIサービスを使用。リアルタイムに近い形で画像を分析できるように、クラウドにデータを転送する形ではなく、カメラで撮影した画像をノートPC上で解析する方法を採用した。ダンサーのセンサー情報は数値化し、クラウドサービス「Microsoft Azure」上で処理したという。

　エイベックスとネイキッドは、HUMANOID DJの取り組みを通して、新しい音楽体験の可能性を探っていく考えだ。

この記事の著者

関連記事

• 

  社会変革の鍵は“クラウド・AI人材”　マイクロソフトが社内外で進める人材育成

• 

  日本マイクロソフト、公共機関へのクラウド導入に本腰　専門部隊で「Azure」など訴求　「海外に追い付き、追い越す」

• 

  日本マイクロソフト、MaaS企業の支援を開始　「Azure」使った企業間連携をレクチャー