動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷（1/8 ページ）
これまで何度か紹介してきたダイナミックプロジェクションマッピング技術。その変遷をまとめた。
実世界の対象物に合わせてプロジェクターで映像を投影する、プロジェクションマッピング技術が注目されている。従来の平面スクリーンに投影する使い方と違い、建物などの凸凹した表面に沿って貼り合わせながら映すのが特徴だ。実世界を拡張する意味でも、投影型AR（Augmented Reality）やSAR（Spatial Augmented Reality）と呼ばれる。
注目されているプロジェクションマッピングだが、制限もある。対象物と映像がズレるため、投影中は常に対象物を静止させておかなければならない。次に目指すところは、動く対象物を追従し投影し続ける「ダイナミックプロジェクションマッピング」（または、動的プロジェクションマッピング）だ。
ダイナミックプロジェクションマッピングは、日本の研究室で生み出され発展してきた経緯を持つ。そのため、国際学会でも一歩先を進み、技術をリードしている。登場して間もない分野だが、伸び代のある発展途上の技術、ダイナミックプロジェクションマッピング技術の変遷をかみ砕いて紹介したい。
今回は土台となるプロジェクションマッピング技術の説明を割愛するため、より理解したい方は、岩井大輔氏による下記のWeb連載を参照されたい。
ダイナミックプロジェクションマッピングの課題
動く対象物に追従し、表面に一致させながら継続的に映像投影する技術を、ダイナミックプロジェクションマッピングと呼ぶ。動く対象物にぴったり貼りついているような映像を投影できるため、対象物の形状はそのままに、現実とは異なる表面であると見る者に知覚させる。
これを実際に実現するには、（1）カメラで動く対象物の撮影（2）カメラの画像処理（3）対象物の動きおよび位置や姿勢の認識（4）捉えた動きに応じた映像の生成（5）生成した映像をプロジェクターに転送（6）プロジェクターで対象物に投影、という6つのプロセスを行わなければならない。
ここで重要になるのが遅延だ。これら6つのプロセスは技術的に遅延が生じる。遅延が発生すると、動く対象物と投影する映像との位置にズレが生じ、ダイナミックプロジェクションマッピングのパフォーマンスが下がる。遅延問題の解決は必須なのだ。
前提としてカメラやプロジェクターなどの電子機器を使用している以上、遅延をゼロにするのは技術的に不可能といえる。目指すべきは“遅延ゼロ”ではなく、人間が映像を目視した際に遅延を感じ取れないレベルまで遅延を抑える技術だ。もし動く対象物への映像投影の遅延がゼロでなくても人間の知覚レベルより低ければ、違和感なしでダイナミックプロジェクションマッピングを体験できるだろう。
では、映像投影において人間が遅延を感じ取れない数値はどのくらいか。米Microsoftなどによる研究チームは2012年、映像投影と遅延知覚に関する実験を行った研究「Designing for low-latency direct-touch input」を発表した。実験では動かす指に追従して白い四角の画像が投影される。どの程度の遅延で目視した際に感じ取れなくなるかを測定したところ、平均6.04ms以下の遅延を人間は感じ取れないことが分かった。
この結果を踏まえると、高性能なダイナミックプロジェクションマッピングを達成するには、約6ms以内に先ほどの6つのプロセスを実行すれば解決する。もっとも、言葉では簡単だが実行は至難の技だ。
当然ながら通常のプロジェクターや既存の投影方法では技術的に実行できない。実現するにはこれらの遅延問題を踏まえ、動く対象物への高速な撮影と画像処理による正確な追跡、プロジェクターの投影方向を動きに応じて高速に変えつつ、生成した映像を高速に投影し続けなければならない。
Copyright © ITmedia, Inc. All Rights Reserved.