Innovative Tech

動く物体と背景に張り付くプロジェクションマッピング　東工大などが開発

公開 2022年02月09日 08時02分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東京工業大学、東京エレクトロンデバイス、ドイツのFraunhofer IOF、ドイツのVialux GmbHによる研究チームが開発した「Depth-Aware Dynamic Projection Mapping using High-speed RGB and IR Projectors」は、動く対象物だけでなく、動く背景の奥行きも追従し画像投影する深度考慮型ダイナミックプロジェクションマッピング（Depth-aware dynamic projection mapping、Depth-aware DPM）だ。例えば、前景の顔だけでなく、背景の布地も動きに応じた画像投影をマーカーレスで行う。

シーン全体の奥行きを考慮したダイナミックプロジェクションマッピングの出力結果

　これまでダイナミックプロジェクションマッピングは、動く対象物を高速に追従し、ぴったり貼りついているような映像を投影する技術として発展してきた。今では、顔や布地、液体までも動く対象物にでき、マーカーレスも可能だ。しかし、動く対象物と動く背景を含めたシーン全体を追従し、その全てをマーカーレスで画像投影することはできていない。

　今回は、動く背景を含むシーン全体のダイナミックプロジェクションマッピングを行うアプローチを提案する。そのためには、（1）シーンの深度マップを高速に取得、（2）ミリ秒精度のマーカーレス・トラッキング、（3）シーンをUVテクスチャ領域とそれ以外の領域に分離し、（4）領域ごとに応じた外観をレンダリング、（5）それらを低遅延で混合し画像投影する、という5段階で行う解決策が有効と、研究チームは考えた。

　しかし、市販の民生用センサーを使ったプロジェクターシステムでは、ダイナミックプロジェクションマッピングの要件を満たす速度で奥行きキャプチャーと3Dトラッキングを実現できない。研究では、947fpsの24bit高速RGBプロジェクター、500fpsの高速IRカメラ、そして新たに開発した2880fpsの8bitIR高速プロジェクターを組み合わせた新しいダイナミックプロジェクションマッピングシステムを使う。

システムの構成

　システムでは、IRプロジェクター・カメラのペアで深度マップを取得し、RGBプロジェクターで深度を考慮したDPM画像を投影している。深度センシングは位相シフトに基づいており、正弦波とグレーコードのパターンを交互に500fpsで赤外域に投影して取り込むことで動作する。フレーム間の動きが微小であることを利用し、0.4msの処理時間でのトラッキングを達成した。この手法は、トラッキングの対象物が剛体であることを前提としている。

（左上）キャプチャー画像、（右上）取得した深度マップ、（左下）トラッキングの結果、（右下）投影画像

　レンダリングは、トラッキングした姿勢の結果を基に、UVテクスチャ情報を持つ3Dモデル、また残りの表面についても、キャプチャーした深度から頂点と法線データを配置し、グラフィックを描画する。これらにより、シーン全体に対して、奥行きを考慮したダイナミックプロジェクションマッピングを行え、約8msの遅延で実証した。

　深度情報も取得しているため、距離に応じてライティングの陰影が変わるなどの表現も新たに可能になるという。

Source and Image Credits: Sora Hisaichi, Kiwamu Sumino, Kunihiro Ueda, Hidenori Kasebe, Tohru Yamashita, Takeshi Yuasa, Uwe Lippmann, Petra Aswendt, Roland Hofling, and Yoshihiro Watanabe. 2021. Depth-Aware Dynamic Projection Mapping using High-speed RGB and IR Projectors. In SIGGRAPH Asia 2021 Emerging Technologies (SA ’21 Emerging Technologies). Association for Computing Machinery, New York, NY, USA, Article 3, 1-2. DOI:https://doi.org/10.1145/3476122.3484843

印刷する