芸者は電脳フィギュアの夢を見るか：アリスの限界と可能性（3/4 ページ）

拡張された現実へのアクセスとフィードバック

　AR（Augmented Reality：拡張現実）技術は近年、注目度が上昇している。その火付け役となったのは、奈良先端科学技術大学院大学の加藤博一教授が開発し、ワシントン大学HIT Lab（Human Interface Technology Lab）、カンタベリー大学HIT Lab NZなどで開発が継続されているARのフレームワーク「ARToolkit」だろう。

　ARisもARToolkitを使っていると誤解されることが多いらしく、同社のサイトのFAQにはARToolkitではなく、同社開発のフレームワーク「GTE_AR_Framework」を使用していると明記されている（ただし、画像認識にはインテルのオープンソースライブラリOpenCVを使用している）。

　AR技術によって現実の空間にオブジェクトを合成する場合、カメラによって2次元化された情報からいかにして3次元情報を読み取るかが重要になる（実際にはそれを再度2次元に投影するわけだが）。

　GTE_AR_FrameworkもARToolkitも、これを白黒のマーカーを使って処理している。画像内のマーカーを読みとり、変形方向を算出して3次元空間内の平面および平面上の原点を求める。それを基準面として3Dモデルをレンダリングすれば、現実空間のカメラ視線と描画空間のカメラ視線が一致する、というわけだ。

　一方、視線方向が分かればマーカー内部のパターンを復元して画像認識し、パターンの種類に応じた処理を行えばよい。ARToolkitではマーカーは白い正方形にその1／2の幅を持つ黒枠を付けたものを使用する（内側の正方形内には識別用のパターンを配置できる）のに対し、ARisのマーカーは枠がかなり細いため、このあたりの実装には違いがあるのだろう。

　注意してもらいたいのは、GTE_AR_Frameworkをはじめ、現在のARフレームワークの多くでは、認識されるのはマーカーであって、そのほかの被写体は情報として利用されないらしい、ということだ。そのため、合成されたオブジェクトよりも手前にある被写体によってオブジェクトが部分的に隠れてしまうということはなく、常にオブジェクトは最前面に上書きされてしまう（ARisの場合、マーカーによってアリスの一部が隠れる処理は行われている）。

AMP 非対応のコンテンツです。こちらからご覧ください。

遠近の情報は持たないため、前後関係は不正確。

　これは3次元情報の割り切りによる制限であり、逆にいえばカメラ画像の中でマーカー情報以外を2次元の背景として切り捨てることでAR技術が身近になったということでもある。

　その一方でPTAM（Parallel Tracking and Mapping）のような新しい技術も出てきている。PTAMはオクスフォード大学で開発されたARフレームワークで、マーカーレスという特徴を持つ。最初にカメラを左右にパンし、その際の特徴点の移動から3次元情報を算出する、しかもこれがノートPCのスペックでもリアルタイムに行えるということで発表当初から非常に注目を集めた。その動作例はYoutubeにもあがっている。研究用のため特徴点やワイヤーフレームの平面が表示されており、サイバーな雰囲気が面白い。

　今年9月にはソースコードも公開され（オクスフォード大Georg Klein氏のサイト）、ニコニコ動画にはすでに道路を歩いているボーカロイドの姿がアップされている（「初音ミクが家の前を歩いてたんだけど…」）。現在のサンプルアプリケーションでは、GTE_AR_FrameworkやARToolkit同様に、3次元平面の利用にとどまっているようだが、大いなる可能性を秘めた技術と言えるだろう。

※記事初出時、PTAMに関して「3次元平面の算出にとどまっている」という記述がありましたが、「カメラを左右にパンし、その際の特徴点の移動から3次元情報を算出する」と前述したように、実際には3Dマッピングを行っており内容に不正確な部分があるのではないか、との指摘を受けて、「3次元平面の利用にとどまっている」という表現に修正しました（11月7日1時34分）。

　今後、さらにAR技術の普及が進み、キワモノ扱いされないくらいになればAR技術に対応したハードウェアが登場してもおかしくない。例えば、HMD（Head Mount Display）は没入感を得ることができる出力デバイスだが、ジャイロを搭載して顔の向きで仮想空間内の視線と同期させるものはすでに存在する。これに加えて、左右レンズ横にカメラが追加されれば3次元情報の検出もずっとしやすくなるはずだ（ARisもHMDとバンドルして販売するという計画があるらしい）。そのほかにも距離情報を撮影するカメラなどもある。

　ARisのインタフェースとしての1番の問題点は、ユーザーの視点と操作対象の違いだ。ユーザーはアリスの姿をディスプレイを通じて認識し、ディスプレイを見ながらスティックを操作する。つまり、入力は現実であるのに対し、そのもののフィードバック自体はディスプレイを通じてでしか得られない。

　もちろん、拡張現実とは（HMDが普及していない現時点では）そういうものだ、という意見もあるだろう。しかし、実際に操作してみると、個人差はあるものの、ストレスを感じることが少なくない。その原因は表示の遅延、低フレームレートということもあるが、もう1つ、ユーザーの視認識に対する不自然さがある。

　例えば、Windows Liveメッセンジャーを考えてみてほしい。Windows Liveメッセンジャーは自分側のカメラ映像はデフォルトでは左右反転、つまり鏡像となっている。鏡を見慣れている我々は、自分の姿（行動）をモニタするときに、左右反転していないと非常に扱いづらい。実際、ARisではキューブの位置を調整しようとして反対方向に動かしてしまうことが多かった。もちろん、Webカメラの設定で左右反転させることも可能なのだが、そうすると今度はキューブのマーカーも反転されてしまって識別できなくなる。この問題はカメラを自分と対峙させるのではなく、ディスプレイの方向に向かせ、カメラの後ろから手を伸ばすようにするとある程度改善される。このあたりはAR技術の1カテゴリとして今後研究が進んでいくことを期待したい。