　これは投影映像が最大60fpsに対して、平面上へのマッピング制御を400fpsと異なるフレームレートで行い実現している。また表面上の絵と衝突する投影映像のシミュレーションに2次元物理エンジンを使用し、平面を動かした際のバーチャルな重力および慣性力を入力している。これにより、映像の動きは平面上に物理的に描かれた絵と位置ずれを生じることなく相互作用しているように見える。

　この技術は、同研究室の成果である、事前の位置合わせやキャリブレーションを不要にした、ダイナミックプロジェクションマッピング技術「Animated Stickies」を拡張したものだ。Animated Stickiesでは、映像内のごく短時間だけ画像追跡用のパターンを埋め込み、そのパターン設計を工夫し、1枚のカメラ画像から物体追跡と映像追跡を分離。事前調整を不要にしている。

影を作らない投影法

　通常、プロジェクターと対象物の前に物体があると、その物体による影が映り込む。これはダイナミックプロジェクションマッピングでも同じ課題として抱えている。

　渡辺研究室は2020年、複数台の高速プロジェクターを用い、対象物の前に動く物体があっても影を作らず投影するシステム「Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control」を発表した。

「重なっても影ができない」プロジェクションマッピング　東工大が開発

　複数台のプロジェクターを用いるのは効果的だが、これまでの手法では計算量が大きいため、対象物が激しく動いていると困難だった。この課題に挑戦するため、各プロジェクターのピクセルの投影輝度を並列計算して制御する手法を提案する。影が生じる部分を他のプロジェクターで補うかたちで投影するアプローチだ。

（左）プロジェクターと対象物の間に物体があると影が生じる。（右）影で隠れていた部分も投影され、異なる視点でも対象物全体に投影し続けれる

　実験では、10台の高速カメラと4台の高速プロジェクターを周囲に配置し、カメラで追跡した対象物にプロジェクターで各方面から映像投影する。結果は、スループット360fps、モーションから投影完了までのレイテンシ10msを達成した。

　これにより対象物が重なっても影を作らない投影が行え、異なる視点でも対象物全体に映像が貼り付いているかのような知覚を提供できる。

まとめ

　以上のように、高速ビジョンと高速プロジェクターを組み合わせて、人間の知覚レベルよりも高速にデザインすることでダイナミックプロジェクションマッピングを実現してきた。さらには多様な対象物への投影、質感によるリアルの追求、プロジェクターの改良、人との相互作用など、多方面の探究の成果により発展してきた。実世界を拡張する意味でも、現実的に調和した表現に近づいているだろう。今後もより一層の発展が期待される。

　今回は見る者に知覚させるダイナミックプロジェクションマッピングの視点から紹介したが、高速ビジョンと高速プロジェクターのポテンシャルは高く、自動車や医療、ロボット、セキュリティ、ヒューマンインタフェースなど他の分野での応用は多岐にわたる。これらはダイナミックプロジェクションマッピング専用の技術ではないことを、心にとどめておきたい。