動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷(8/8 ページ)
これまで何度か紹介してきたダイナミックプロジェクションマッピング技術。その変遷をまとめた。
映像投影と対象物との相互作用
東北大学の鏡研究室は2020年、平面にぴったり貼り付いているように追従して投影するだけでなく、投影画像と対象物との相互作用が行えるシステム「Interactive Stickies」を発表した。
例えば、手に持った対象物(用紙)を揺らすと、揺らした反動で投影画像(ボール)が中で転がり弾む。しかも、弾んだボールは元から用紙に印刷されている絵(もしくは、手書きの絵)に衝突し跳ね返る相互作用を起こす。対象物と投影画像の境界がないように見る者に知覚させる。
これは投影映像が最大60fpsに対して、平面上へのマッピング制御を400fpsと異なるフレームレートで行い実現している。また表面上の絵と衝突する投影映像のシミュレーションに2次元物理エンジンを使用し、平面を動かした際のバーチャルな重力および慣性力を入力している。これにより、映像の動きは平面上に物理的に描かれた絵と位置ずれを生じることなく相互作用しているように見える。
この技術は、同研究室の成果である、事前の位置合わせやキャリブレーションを不要にした、ダイナミックプロジェクションマッピング技術「Animated Stickies」を拡張したものだ。Animated Stickiesでは、映像内のごく短時間だけ画像追跡用のパターンを埋め込み、そのパターン設計を工夫し、1枚のカメラ画像から物体追跡と映像追跡を分離。事前調整を不要にしている。
影を作らない投影法
通常、プロジェクターと対象物の前に物体があると、その物体による影が映り込む。これはダイナミックプロジェクションマッピングでも同じ課題として抱えている。
渡辺研究室は2020年、複数台の高速プロジェクターを用い、対象物の前に動く物体があっても影を作らず投影するシステム「Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control」を発表した。
複数台のプロジェクターを用いるのは効果的だが、これまでの手法では計算量が大きいため、対象物が激しく動いていると困難だった。この課題に挑戦するため、各プロジェクターのピクセルの投影輝度を並列計算して制御する手法を提案する。影が生じる部分を他のプロジェクターで補うかたちで投影するアプローチだ。
実験では、10台の高速カメラと4台の高速プロジェクターを周囲に配置し、カメラで追跡した対象物にプロジェクターで各方面から映像投影する。結果は、スループット360fps、モーションから投影完了までのレイテンシ10msを達成した。
これにより対象物が重なっても影を作らない投影が行え、異なる視点でも対象物全体に映像が貼り付いているかのような知覚を提供できる。
まとめ
以上のように、高速ビジョンと高速プロジェクターを組み合わせて、人間の知覚レベルよりも高速にデザインすることでダイナミックプロジェクションマッピングを実現してきた。さらには多様な対象物への投影、質感によるリアルの追求、プロジェクターの改良、人との相互作用など、多方面の探究の成果により発展してきた。実世界を拡張する意味でも、現実的に調和した表現に近づいているだろう。今後もより一層の発展が期待される。
今回は見る者に知覚させるダイナミックプロジェクションマッピングの視点から紹介したが、高速ビジョンと高速プロジェクターのポテンシャルは高く、自動車や医療、ロボット、セキュリティ、ヒューマンインタフェースなど他の分野での応用は多岐にわたる。これらはダイナミックプロジェクションマッピング専用の技術ではないことを、心にとどめておきたい。
関連記事
- 「重なっても影ができない」プロジェクションマッピング 東工大が開発
プロジェクションマッピングの新たな提案。今回は4台の高速プロジェクタを使っている。 - プロジェクションマッピングで硬いものでも「ぷるんぷるん」 東大「ElaMorph Projection」開発
弾力があるかのように見せかける技術だが、その映像をリアルタイムでレンダリングしている。 - 「レイトレ」応用、動く物体にぴったり貼り付くプロジェクションマッピング 東工大開発
レイトレーシングの一種であるパストレーシングをリアルタイムで処理し、投影するシステムだ。 - 揺らして遊べるプロジェクションマッピング 東北大が開発
物理シミュレーションを加えた、高度なプロジェクションマッピングが登場。
Copyright © ITmedia, Inc. All Rights Reserved.