「Songle Syncを使えばIoT(Internet of Things)がIoMT(Internet of Musical Things)になる」と産総研の後藤真孝さんは紹介した。
演奏に合わせてスマートフォン、照明、腕輪、ペンライト、さまざまなデバイスが同期して色を変えたり、図形を描いたりする、そんな一体感のあるライブを数万人規模で実施するようなことはいまだ行われていない。しかし、産総研(国立研究開発法人 産業技術総合研究所)が8月2日に公開した技術を使えば、無償で簡単にそうしたプログラムを組むことができる。その技術の名をSongle Syncという。
音楽の再生に合わせて、Windows、Mac、iPhone、iPad、Android、さらにはRaspberry PiやArduinoを使って制御されたさまざまなIoTデバイス、ロボットが遅延なしで連携動作する。2日に行われた記者説明会では、ネットワーク接続された最大125台のデバイスが音楽に連動して表示や動きを変えるデモを行った。そのうち十数台はその場でQRコードでアクセスした報道陣のスマートフォンで、その画面には音楽と同期したCGアニメーションが表示され、動いていた。
産総研 情報技術研究部門 首席研究員の後藤真孝さんを中心としたチームは2012年からSongleという音楽解析技術をベースにしたサービスを発表しており、すでに100万曲以上が解析済み。7月30日に公開されたばかりのボカロ曲「テレホタイム」も含まれる。このSongleを元に音楽の鑑賞体験をよりアクティブなものにする研究を行ってきたが、今回のSongle Syncにより、それをスマートデバイスやIoT制御にまで拡大した。
多数のデバイスを音楽に同期させる試みとしてはこれまでにも赤松正行さんが行った例などがあるが、Songle Syncは登録済みの100万曲超の楽曲との同期を簡単にするためのAPIが公開されているところが大きく異なる。
このAPIを使うと、Songleで解析された音楽イベント(ビート、小節、サビ、繰り返し、コード)のタイミングに合わせてデバイスの振るまいを変化させることが可能となる。例えばサビが始まったらカーテンレールを動かして、外の光が差し込むようにするといったこともできる。同時に照明を落としたり、サビに合わせてロボットがよりアクティブに動くといった演出も可能だ。
その音楽イベントに合わせて駆動するプログラムを記述するだけでよく、JavaScriptが動作するブラウザやNode.jsが動くIoTデバイスならばこのAPIで動かすことができる。
サーバを増やすことで数万人規模の同期が理論上は可能となるというこの技術。スマートホームから店舗の演出、さらにはライブエンターテインメントまで、さまざまな応用が可能と後藤さんは想定する。
Apple HomeKitやGoogle Homeなど既存のIoTプラットフォームは現在サポートしていないが、API公開により接続できるデバイスの増加が期待される。
Songle Sync。音楽好きなIoT初心者がプログラミングを始めるきっかけにもなりそうだ。
関連記事
- 美少女ロボ「HRP-4C未夢」と「ぼかりす」を結ぶ産総研内コラボ「ぼかうお」とは?
女性型ロボット「HRP-4C未夢」とぼかりすのコラボがCEATECで実現。今年の未夢は歌声と顔の表情のリアルさが明らかに違う。新技術「ぼかうお」がそれを実現した。 - ラマーズP作ボカロ曲「テレホタイム」のマストドンとfriends.nico讃歌っぷりがすごい
VOCALOIDの音街ウナが繰り返す中毒性の高いフレーズと、frinds.nico住人ならニヤニヤしっぱなしの歌詞が特徴だ。 - パナソニックと産総研、AI研究ラボ設立
パナソニックと産総研は、社会に役立つ人AI技術を研究する「パナソニック-産総研 先進型AI連携研究ラボ」を設立する。 - 産総研「人工知能研究センター」設立 人間と相互理解できる人工知能の実現へ
産総研が「人工知能研究センター」を設立。人間と相互に理解しあえる人工知能の実現を目指す基礎研究と、成果を実社会に適用する人工知能フレームワークの研究開発を行う。
Copyright © ITmedia, Inc. All Rights Reserved.