「レイトレ」応用、動く物体にぴったり貼り付くプロジェクションマッピング 東工大開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東京工業大学 渡辺研究室の研究チームが開発した「Realistic Dynamic Projection Mapping Using Real-Time Ray Tracing」は、リアルタイムレイトレーシングを用い、動く物体にぴったり追従してリアルな画像を投影し続けるプロジェクションマッピングだ。

青のプラスチックが白いウサギの人形にぴったり張り付いて投影されている様子

　近年、プロジェクションマッピング技術が進化している。特に、動く物体を追従し、ぴったり張り付いているかのように投影するダイナミックプロジェクションマッピングが目立つ。硬い物体はもちろん、Tシャツや紙のような柔らかい素材でも追跡し、映像を違和感なく投影することが可能だ。

　東工大の研究チーム次の課題は、臨場感を高めることだとする。そのためには現実に近いリアルな画像の投影が必要となる。そこで研究チームは今回、光線の反射を再現してリアルなCGを生み出す手法として知られるレイトレーシングの改良型である「パストレーシング」をダイナミックプロジェクションマッピングと統合した。

今回の手法を用いて投影した様子。（上段）青いプラスチックを投影（下段）ガラスを投影

　パストレーシングの手法は、多くの光のサンプルと、レンダリングされた画像の各ピクセルに対するトレース結果を統合して計算するためかなりの時間を要し、GPUを使用してもノイズが多くなってしまう。

　この課題については、ノイズの多い中間画像を高フレームレートで投影することで解決する。光の点滅を認識できないほどの速さで高速投影すると連続光に見える、一種の残像効果を利用したものだ。

　システムは、高速プロジェクタ、カメラ、コンピュータで構成。実験では、500fpsのカメラでウサギの人形を追跡し、パストレーシング画像を947fps、1ピクセルあたり2サンプリング（spp）でレンダリングした。この画像を高速プロジェクタによる947fpsで投影することで、ノイズを低減させた画像に仕上がる。その結果、運動している物体に対して既存技術をしのぐ低遅延描画と臨場感を実現しているという。

2種類の投影速度を比較（左）2sppの画像を1fpsで投影した場合（右）2-spp画像を947fpsで投影した場合

システム構成

（左上）白色光下にある元の外観（右上）木を投影（右下）メタルを投影（右下）ブロンズを投影