動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷（8/8 ページ）

公開 2021年03月31日 23時29分

更新 2021年04月01日 07時54分

著者

山下裕毅

[ITmedia]

印刷する Googleで優先するソースとして追加

映像投影と対象物との相互作用

　東北大学の鏡研究室は2020年、平面にぴったり貼り付いているように追従して投影するだけでなく、投影画像と対象物との相互作用が行えるシステム「Interactive Stickies」を発表した。

揺らして遊べるプロジェクションマッピング　東北大が開発

　例えば、手に持った対象物（用紙）を揺らすと、揺らした反動で投影画像（ボール）が中で転がり弾む。しかも、弾んだボールは元から用紙に印刷されている絵（もしくは、手書きの絵）に衝突し跳ね返る相互作用を起こす。対象物と投影画像の境界がないように見る者に知覚させる。

用紙を揺らすと投影されているボールが転がり、手書き迷路にぶつかって移動している様子

　これは投影映像が最大60fpsに対して、平面上へのマッピング制御を400fpsと異なるフレームレートで行い実現している。また表面上の絵と衝突する投影映像のシミュレーションに2次元物理エンジンを使用し、平面を動かした際のバーチャルな重力および慣性力を入力している。これにより、映像の動きは平面上に物理的に描かれた絵と位置ずれを生じることなく相互作用しているように見える。

　この技術は、同研究室の成果である、事前の位置合わせやキャリブレーションを不要にした、ダイナミックプロジェクションマッピング技術「Animated Stickies」を拡張したものだ。Animated Stickiesでは、映像内のごく短時間だけ画像追跡用のパターンを埋め込み、そのパターン設計を工夫し、1枚のカメラ画像から物体追跡と映像追跡を分離。事前調整を不要にしている。

影を作らない投影法

　通常、プロジェクターと対象物の前に物体があると、その物体による影が映り込む。これはダイナミックプロジェクションマッピングでも同じ課題として抱えている。

　渡辺研究室は2020年、複数台の高速プロジェクターを用い、対象物の前に動く物体があっても影を作らず投影するシステム「Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control」を発表した。

「重なっても影ができない」プロジェクションマッピング　東工大が開発

　複数台のプロジェクターを用いるのは効果的だが、これまでの手法では計算量が大きいため、対象物が激しく動いていると困難だった。この課題に挑戦するため、各プロジェクターのピクセルの投影輝度を並列計算して制御する手法を提案する。影が生じる部分を他のプロジェクターで補うかたちで投影するアプローチだ。

（左）プロジェクターと対象物の間に物体があると影が生じる。（右）影で隠れていた部分も投影され、異なる視点でも対象物全体に投影し続けれる

　実験では、10台の高速カメラと4台の高速プロジェクターを周囲に配置し、カメラで追跡した対象物にプロジェクターで各方面から映像投影する。結果は、スループット360fps、モーションから投影完了までのレイテンシ10msを達成した。

　これにより対象物が重なっても影を作らない投影が行え、異なる視点でも対象物全体に映像が貼り付いているかのような知覚を提供できる。

まとめ

　以上のように、高速ビジョンと高速プロジェクターを組み合わせて、人間の知覚レベルよりも高速にデザインすることでダイナミックプロジェクションマッピングを実現してきた。さらには多様な対象物への投影、質感によるリアルの追求、プロジェクターの改良、人との相互作用など、多方面の探究の成果により発展してきた。実世界を拡張する意味でも、現実的に調和した表現に近づいているだろう。今後もより一層の発展が期待される。

　今回は見る者に知覚させるダイナミックプロジェクションマッピングの視点から紹介したが、高速ビジョンと高速プロジェクターのポテンシャルは高く、自動車や医療、ロボット、セキュリティ、ヒューマンインタフェースなど他の分野での応用は多岐にわたる。これらはダイナミックプロジェクションマッピング専用の技術ではないことを、心にとどめておきたい。