音がAR化する日は来るか？ セカイカメラに電脳キャラ「セカイロイド」襲来

[山田祐介，ITmedia]

「初音ミクの破片　〜セカイロイド襲来〜」のセッションには、頓智ドットの井口尊仁代表、グッドスマイルカンパニーの安藝貴範代表取締役、クリプトン・フューチャー・メディアの佐々木渉氏、Y2 PROJECTに関わるヤマハの大島治氏（左から順）が登場

　2月中旬、インターネットを活用した音楽制作のあり方を提案するヤマハのプロジェクトチーム「Y2 PROJECT」が、「Y2 SPRING 2010」の開催をアナウンスした。イベントの概要を見ると「初音ミクの破片　〜セカイロイド襲来〜」と題されたセッションがあり、参加企業には拡張現実（AR）アプリ「セカイカメラ」の開発元である頓智ドットの名前が挙がっていた。

　2009年のCEATECでもヤマハとのコラボレーションを果たしたセカイカメラ。今回はどんな取り組みを披露するのか――。本記事では、3月1日に開催されたイベントから、セカイカメラやセカイロイドに関する情報をまとめて紹介しよう。

「セカイロイド」って何？

「セカイカメラのAR空間に生命体のようなものを登場させたいとずっと思っていた。今回はその最初の試み」と井口氏

　セカイカメラが提供するAR空間の中で、バーチャルキャラクターが生き物のように振る舞う――。電脳ペット、はたまた電脳彼女……と妄想はつきないが、そんな“エアキャラ”と呼ばれる仮想キャラクターの提供に向けて、頓智ドットはセカイカメラの改良を続けている。エアキャラが将来的にどんなサービスになるかは、頓智ドットの井口尊仁代表も「まだ説明できる状態ではない」と話すが、イベントでは研究過程の成果物としてヤマハの歌声合成技術「VOCALOID」のプロジェクトとコラボしたエアキャラが披露された。それが、セカイロイドだ。

「セカイカメラ×エアキャラ×ボーカロイド」とある

　クリプトン・フューチャー・メディアが展開するVOCALOIDの人気ソフト“初音ミク”とも関連しているのはセッションのタイトルからも分かるが、“初音ミクの破片”とは何なのか。イベントに登場したクリプトン・フューチャー・メディアの佐々木渉氏の腕には、水色のツインテールらしきものを備えた“初音ミクっぽい謎のキャラ”のフィギュアが抱えられていた。キャラクターの腹（？）の部分には、ひらがなの「あ」の文字。

佐々木氏の腕にはグッドスマイルカンパニーが制作した謎のフィギュアが（写真＝左）。その正体は初音ミクから派生した「初音バグ」と呼ばれる新キャラクターだ。いろんなバリエーションが存在するらしい（写真＝中央／写真＝右）

　“破片”の正体は、50音の組み合わせで歌を作り出す初音ミクから、それぞれの音だけを取り出してキャラクター化した「初音バグ」というもの。「あ」だけをしゃべる初音バグ、「い」だけをしゃべる初音バグ、といった具合に容姿の異なるキャラクターが用意されている。初音バグを使った取り組みの全貌は「のちのち明らかになる」（佐々木氏）そうだが、今回はセカイカメラとコラボし、セカイロイドのキャラクターとしてその姿が初公開された。

セカイカメラの中に取り込まれた初音バグ

　セカイカメラの画面には、通常のエアタグに混じりツインテールの初音バグが立体的に描写されている。現状では「まだできることは少ない」（井口氏）ものの、初音バグを指でタップすると、“いやいや”をしたり、クルクル回ったりと、愛らしい動きを見せてくれる。井口氏によれば、エアキャラは持ち主の画面に常に登場する仕組みになっており、将来的には位置や時間に関連して出没するようなものにしたいという。

ARは視覚だけではない――“音のAR”を疑似体験

それぞれのエアタグが音を発し、ピアノのエアタグが前に来れば、ピアノの音が大きく聞こえる

　「ヤマハとしては、セカイカメラの世界に“音”のソリューションで絡みたい」と、Y2 PROJECTに関わるヤマハの大島治氏は話す。イベントでは、擬似的なデモンストレーションで同社の音声技術を組み合わせたセカイロイドやセカイカメラのコンセプトが示された。

　セカイカメラのデモ画面には、初音バグに加え、ピアノや鳥、新幹線といったさまざまなフォトエアタグが浮かんでいる。デモが始まると、まるでそれら1つ1つのエアタグが音を発しているかのように、会場のスピーカーから音が聞こえてきた。画面に常に登場する初音バグからは、VOCALOIDの声で「あ、あー、ああっ」と動物の鳴き声のような音が聞こえる。さらに、セカイカメラの向きに合わせ、ピアノのエアタグに近づけばピアノの音が、新幹線のエアタグに近づけば線路を走る音が大きくなる。音の定位をコントロールするヤマハの技術を使い、エアタグとひも付いた環境音を立体的に表現して「音のAR」を試みたというわけだ。

　今回はあくまで疑似的なデモンストレーションであり、セカイカメラの向きと音の変化は人の手によって連動させられていた。事前に作成した音源を使い、「フィールドローテーション」というマルチチャンネルで音場を仮想的に回転させるエフェクトを、セカイカメラの画面の動きに合わせてスタッフが操作することで、音のARを実現していたのだ。将来的には、「例えばクラウド型VSTとしてエフェクトをプラグイン化することで、電子コンパスと連動するような形でフィールドローテーションをセカイカメラ上で動かすこともできるようになるのでは」と、デモの音響演出を手掛けたヤマハの池田雅弘氏（サウンドテクノロジー開発センター 空間デザイングループ）は話す。

　デモのコンセプトが実際のサービスにどのような形で落とし込まれるかはまだ分からないが、「お互いの技術でなにか面白いことができるはず、という思いは共通している」（大島氏）とのことで、Y2 PROJECTとセカイカメラの今後の取り組みが楽しみだ。