ペットやヒロインが手の中で動く――KDDI研の新技術「手のひらAR」を見る
3Dキャラクターが自分の手のひらを動き回り、音楽に合わせて踊る――そんな体験をスマートフォンで実現する技術「手のひらAR」をKDDI研究所が開発。仮想ペットなどのビジネスへの応用や、クリエイターが3Dアニメを発表する場としての活用など、サービスの模索が始まっている。【2011/1/17動画追加】
手のひらをスマートフォンのカメラでのぞくと、かわいらしいCGキャラクターが手の上に現れ、音楽とともに踊り出す――KDDI研究所が開発した「手のひらAR」の技術を使うと、ユーザーはこんな体験ができる。同技術は少ないCPU負荷で手のひらの位置や傾きを認識でき、スマートフォンなどのモバイル端末でも実用的な速度で動作するのが特徴だ。すでにAndroid向けアプリが試作され、展示イベントなどで活用が始まっている。KDDIでは同技術を仮想ペットやアバターといったコンテンツビジネスに応用することを模索中だ。また、クリエイターの作品発表の場としてアプリを提供することも検討しているという。
自分の手のひらがキャラクターのダンスステージに
AR(拡張現実)とは、コンピュータを使って現実環境に情報を合成する技術のこと。今回開発された手のひらARは、画像認識技術によって空間を把握し、情報を合成するタイプのARだ。
現在、画像認識型のモバイルARは矩形などシンプルな形をした専用マーカーを認識する“マーカー型AR”が主流だが、こうしたARはマーカーのない場所では楽しめない。手のひらARでは“手”というより身近な対象物を認識することで、より幅広いシーンでARを楽しめるようにした。
手のひらARを開発したKDDI研究所の加藤晴久氏(ソフトウェアインテグレーショングループ 研究主査)によれば、従来からある手のひらの認識手法はCPUに大きな処理負荷がかかり、モバイル端末への応用が難しかったという。そこで同氏は、5つの指先を独自の手法で検出し、指先が同じ平面上にあるという前提のもとで手のひらの傾きを推測する技術を開発した。同技術は処理負担が軽いだけでなく低解像度のカメラでも認識しやすく、認識精度も従来の手法より高いという特徴を持つ。
技術の応用例として、手のひらで3Dキャラクターが踊るデモンストレーションを見せてもらった。カメラに手をかざすと、腕の方からアニメ風のキャラクターがトコトコと姿を見せ、音楽に合わせて滑らかに踊り始める。手のひらの位置や傾きにキャラクターが連動し、手を傾けすぎるとキャラクターが手から滑り落ちてしまう演出もあったりと、実際に手のひらにキャラクターが存在しているかのような感覚を体験できた。
さらに、手のひらにキャラクターの影が投影されると、リアルさが一層引き立つ(影の演出はAndroidの試作アプリには盛り込まれておらず、PC向けソフトウェアで確認した)。手の外輪郭をリアルタイムに認識しているため、影の演出が手からはみ出てリアルさを損ねるようなことはない。指を閉じてしまったり、不自然な手の開き方をすると正しく動作しなくなるほか、映り込む背景によってもパフォーマンスが左右されることがあるそうだが、しっかりと手を開いていれば、かなりの精度で手のひらを認識してくれていた。
仮想ペットからMikuMikuDanceまで
“手の中に入れる”という演出でコンテンツを身近に感じさせる今回のAR技術は、「仮想ペットやアイテム販売といったビジネス化がイメージしやすい」(KDDI 新規ビジネス推進本部 ポータルビジネス部 伊藤盛氏)。また、腕時計や指輪の“AR試着”など、EC的、広告的な利用も可能だ。技術的にはサービスとして提供できる品質になっているとのことで、同技術を使ったARアプリが今後配信される可能性はありそうだ。すでにイベントなどでのアプリ利用は始まっており、集英社が2010年12月に開催した「ジャンプフェスタ2011」では、人気マンガ「ワンピース」とKDDIの音楽サービス「LISMO!」のコラボキャンペーンに合わせ、手のひらにワンピースのキャラクターが浮かび上がるARアプリの体験ブースが設けられた。
また、クリエイターが作品を発表する場としてアプリを提供したい思いも現場にはあるという。ニコニコ動画などの動画サイトでは、無数のクリエイターが自身の楽曲やイラスト、CG、映像作品などをアップロードし、多くのユーザーが鑑賞している。こうしたサービスを利用するクリエイターやユーザー層に対し、ARで作品を公開したり鑑賞したりできる場としてサービスを提供するといったことを検討中だ。手のひらARのアプリは、各種の3Dモデルをインポートできるほか、ニコニコ動画でも有名な3D動画製作のフリーウェア「MikuMikuDance」で“振り付け”を行った3Dアニメのデータなども扱えるという。音声合成ソフトのキャラクターとして人気の高い「初音ミク」などのキャラクターとも「コラボすることができれば」と伊藤氏はラブコールを送る。
また、KDDI研究所では、音楽に合わせて3Dキャラクターの振り付けを自動で行う技術も研究されており、こうした技術を組み合わせれば、よりインタラクティブにコンテンツを楽しむこともできそうだ。フィーチャーフォン向けにKDDIが提供しているARアプリ「セカイカメラZOOM」に、てのひらARの技術を生かすといったことも将来的は検討するという。
関連記事
- 2011年の新展開――ARの“次の一手”をZenitumのアプリに見る
2010年はさまざまな位置情報型ARやマーカー型ARサービスが登場した年だったが、2011年は、ロゴやポスターといったごく一般的な対象物の上にコンテンツを浮かび上がらせるモバイルARが注目を浴びるかもしれない。 - 「ARをもっと身近に」――AR専業会社のアララがARアプリ「ARAPPLI」を披露
AR(拡張現実)サービス専門の会社として設立されたアララが発表会を開催。QRコードが入ったマーカー上にコンテンツを浮かび上がらせるARアプリ「ARAPPLI」の特徴や今後の展開を説明した。 - CEATEC JAPAN 2010:テレビにケータイかざして情報入手――KDDIの「“smARt”テレビ視聴」
テレビにケータイをかざすと画面から情報が飛び出す――画像認識型のAR技術を使って、テレビの新しい視聴スタイルを提案するのがKDDIの「“smARt”テレビ視聴」だ。 - CEATEC JAPAN 2010:これぞ電脳メガネ――ドコモが市販メガネに装着できるHMD「AR Walker」を披露
NTTドコモが、市販メガネに装着できる小型HMD「AR Walker」をCEATECに参考出品している。利用者の視界をさえぎらずに情報提供ができ、行動支援型のARサービスに生かせるという。 - CEATEC JAPAN 2010:ARとバーチャル世界の合わせ技――ドコモの「Mobile AR技術 Ver.2」を見た
ドコモがCEATEC JAPAN 2010でARのサービス像を参考出展している。目を引いたのは、Second Lifeのような現実そっくりの仮想世界とAR空間のコンテンツを同期させるサービスだ。PC上と現実の双方で同じゲームを楽しむといったことが可能になるかもしれない。 - アプリコンテストを開催:Qualcomm、Android向けARアプリの開発キットを公開
Qualcommが、同社が提案するARサービス向けアプリの開発キットを公開。このSDKで開発したAndroidアプリのコンテストを実施する。 - ワイヤレスジャパン2010:ビルの“向こう”に巨大な天海春香――KDDIのARが画像認識でさらに進化
街中のビルの向こうにキャラクターが現れたり、音楽アルバムの看板から楽曲が流れたり――こんな高度なAR体験を携帯電話で実現させたのが、KDDIの開発版「セカイカメラZOOM」だ。ARゲームへの応用に加え、広告からECへの導線にもなると開発者は語る。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.