ペットやヒロインが手の中で動く――KDDI研の新技術「手のひらAR」を見る

[山田祐介，ITmedia]

「手のひらAR」の試作アプリを動かした様子

　手のひらをスマートフォンのカメラでのぞくと、かわいらしいCGキャラクターが手の上に現れ、音楽とともに踊り出す――KDDI研究所が開発した「手のひらAR」の技術を使うと、ユーザーはこんな体験ができる。同技術は少ないCPU負荷で手のひらの位置や傾きを認識でき、スマートフォンなどのモバイル端末でも実用的な速度で動作するのが特徴だ。すでにAndroid向けアプリが試作され、展示イベントなどで活用が始まっている。KDDIでは同技術を仮想ペットやアバターといったコンテンツビジネスに応用することを模索中だ。また、クリエイターの作品発表の場としてアプリを提供することも検討しているという。

自分の手のひらがキャラクターのダンスステージに

　AR（拡張現実）とは、コンピュータを使って現実環境に情報を合成する技術のこと。今回開発された手のひらARは、画像認識技術によって空間を把握し、情報を合成するタイプのARだ。

　現在、画像認識型のモバイルARは矩形などシンプルな形をした専用マーカーを認識する“マーカー型AR”が主流だが、こうしたARはマーカーのない場所では楽しめない。手のひらARでは“手”というより身近な対象物を認識することで、より幅広いシーンでARを楽しめるようにした。

手のひらにコンテンツを浮かび上がらせる「手のひらAR」

楕円フィッティングによる従来の手のひら認識方法との比較

　手のひらARを開発したKDDI研究所の加藤晴久氏（ソフトウェアインテグレーショングループ 研究主査）によれば、従来からある手のひらの認識手法はCPUに大きな処理負荷がかかり、モバイル端末への応用が難しかったという。そこで同氏は、5つの指先を独自の手法で検出し、指先が同じ平面上にあるという前提のもとで手のひらの傾きを推測する技術を開発した。同技術は処理負担が軽いだけでなく低解像度のカメラでも認識しやすく、認識精度も従来の手法より高いという特徴を持つ。

　技術の応用例として、手のひらで3Dキャラクターが踊るデモンストレーションを見せてもらった。カメラに手をかざすと、腕の方からアニメ風のキャラクターがトコトコと姿を見せ、音楽に合わせて滑らかに踊り始める。手のひらの位置や傾きにキャラクターが連動し、手を傾けすぎるとキャラクターが手から滑り落ちてしまう演出もあったりと、実際に手のひらにキャラクターが存在しているかのような感覚を体験できた。

auのAndroid端末「IS01」を使ったデモンストレーション

　さらに、手のひらにキャラクターの影が投影されると、リアルさが一層引き立つ（影の演出はAndroidの試作アプリには盛り込まれておらず、PC向けソフトウェアで確認した）。手の外輪郭をリアルタイムに認識しているため、影の演出が手からはみ出てリアルさを損ねるようなことはない。指を閉じてしまったり、不自然な手の開き方をすると正しく動作しなくなるほか、映り込む背景によってもパフォーマンスが左右されることがあるそうだが、しっかりと手を開いていれば、かなりの精度で手のひらを認識してくれていた。

Webカメラを使ってPCで手のひらARを動かすこともできる。スマートフォンよりも動きが滑らかで、影や光りの演出がふんだんに盛り込まれており、迫力あるARを体験できた

仮想ペットからMikuMikuDanceまで

「ジャンプフェスタ2011」に出展した手のひらARの体験コーナー

　“手の中に入れる”という演出でコンテンツを身近に感じさせる今回のAR技術は、「仮想ペットやアイテム販売といったビジネス化がイメージしやすい」（KDDI 新規ビジネス推進本部 ポータルビジネス部 伊藤盛氏）。また、腕時計や指輪の“AR試着”など、EC的、広告的な利用も可能だ。技術的にはサービスとして提供できる品質になっているとのことで、同技術を使ったARアプリが今後配信される可能性はありそうだ。すでにイベントなどでのアプリ利用は始まっており、集英社が2010年12月に開催した「ジャンプフェスタ2011」では、人気マンガ「ワンピース」とKDDIの音楽サービス「LISMO！」のコラボキャンペーンに合わせ、手のひらにワンピースのキャラクターが浮かび上がるARアプリの体験ブースが設けられた。

　また、クリエイターが作品を発表する場としてアプリを提供したい思いも現場にはあるという。ニコニコ動画などの動画サイトでは、無数のクリエイターが自身の楽曲やイラスト、CG、映像作品などをアップロードし、多くのユーザーが鑑賞している。こうしたサービスを利用するクリエイターやユーザー層に対し、ARで作品を公開したり鑑賞したりできる場としてサービスを提供するといったことを検討中だ。手のひらARのアプリは、各種の3Dモデルをインポートできるほか、ニコニコ動画でも有名な3D動画製作のフリーウェア「MikuMikuDance」で“振り付け”を行った3Dアニメのデータなども扱えるという。音声合成ソフトのキャラクターとして人気の高い「初音ミク」などのキャラクターとも「コラボすることができれば」と伊藤氏はラブコールを送る。

　また、KDDI研究所では、音楽に合わせて3Dキャラクターの振り付けを自動で行う技術も研究されており、こうした技術を組み合わせれば、よりインタラクティブにコンテンツを楽しむこともできそうだ。フィーチャーフォン向けにKDDIが提供しているARアプリ「セカイカメラZOOM」に、てのひらARの技術を生かすといったことも将来的は検討するという。