動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷（7/8 ページ）

[山下裕毅，ITmedia]

質感とレイトレーシングの適用

　東京工業大学の渡辺研究室は2020年、動く物体にリアルタイムレイトレーシングを適用した映像投影システム「Realistic Dynamic Projection Mapping Using Real-Time Ray Tracing」を発表した。

• 「レイトレ」応用、動く物体にぴったり貼り付くプロジェクションマッピング　東工大開発

　本システムは、光線の反射を再現してリアルなCGを生み出す手法として知られるレイトレーシングの改良型であるパストレーシングをダイナミックプロジェクションマッピングに統合した技術だ。投影する映像に対して、光の反射を考慮したリアルな表現を目指す。

　パストレーシングは、レンダリングされた画像の各ピクセルに対するトレース結果を統合して計算するため、膨大な時間を要する。その一方、ダイナミックプロジェクションマッピングは500〜1000fpsの高フレームレートのレンダリングを必要とする。このギャップを埋めなければならならない。

　この課題の克服には、光の点滅を認識できないほどの速さで高速投影すると連続光に見える残像効果を利用した。これによりノイズの多い中間画像を高フレームレートで投影し、動く物体に対しても低遅延で質感を持つリアルな表現の投影に成功した。実験は、500fpsのカメラでウサギの置物を追跡し、パストレーシング画像を947fps、1ピクセルあたり2サンプリング（spp）でレンダリングした。

白いウサギの置物に青のプラスチックを投影している様子

　動画では、青いプラスチックやブロンズなどをウサギの置物に投影し質感を付与している様子を確認できる。途中、ガラスを投影するシーンもあり光の反射を詳細に考慮している様子がより知覚できるだろう。

　質感でいうと、石川グループ研究室は2020年、ゼリーやプリンのように“ぷるんぷるん”を表現する「ElaMorph Projection」を発表した。硬い対象物であっても、動かすと弾力があるかのように錯覚させられるダイナミックプロジェクションマッピングだ。

• プロジェクションマッピングで硬いものでも「ぷるんぷるん」　東大「ElaMorph Projection」開発

ダイナミックプロジェクションマッピングで”ぷるんぷるん”の表現を再現する

　このシステムでは対象物を動かした際の変形を高速に物理シミュレーションで計算し、レンダリングした画像を投影している。また錯視が見る者にばれないように、物体の輪郭内に投影画像を収める変形修正アルゴリズムを実装している。加えて、光の強さと方向をリアルタイムに推定し、これに応じた映像投影の生成も行い、リアルさを付与している。

　さらに、弾ませたい領域や程度を容易に指定できる「弾性マップ」も導入し、対象物の半分だけといった部分的な弾性表現も可能としている。