空中に浮かぶ映像に触れ、裏側に回り込める技術 愛工大が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　愛知工業大学の研究チームが開発した「A Method for Appropriate Occlusion between a Mid-air 3DCG Object and a Hand by Projecting an Image on the Hand」は、裸眼で見られる空中に浮かべた立体画像（3DCG）に手で触れ、裏側に回り込める（オクルージョン）システムだ。空中像の後ろに手を移動させた際に、立体物で隠れてしまうはずの手の位置に別の画像を投影し、回り込んだように錯覚させる。

（左）空中像の上に手をかざしている様子（中央、右）空中像の後ろに手を回り込ましている様子

　ユーザーに空中像を提示するため、特殊なガラス「マイクロミラーアレイプレート（MMAP）」、Kinect、Leap Motionなどでシステムを構築。下に設置したディスプレイの映像をMMAPが透過的に反射し、空中に投影する。Kinectでユーザーの視線を追跡することにより、ユーザー視点用の立体画像が表示され、Leap Motionで各指の位置と動きを捉えて空中像を触ることができる。

システムの概要図

　空中像への回り込みを実現するため、頭上に取り付けた別のKinectで空中像と手の位置関係を解析している。

　回り込んだ際のユーザーに見えないはずの手の領域を特定し、ユーザー視点を考慮した上で、その領域に適切な画像をプロジェクターで投影する。投影された指は、あたかも空中像の裏側にあるかのように知覚し、回り込んだように錯覚する。

（左）空中像を上から手で触っている様子（右）空中像を下から触っている様子

（空中像に触って変形させている様子

空中に指で立体物を描いている様子