動く物体と背景に張り付くプロジェクションマッピング 東工大などが開発:Innovative Tech
東京工業大学などの研究チームは、動く対象物だけでなく、動く背景の奥行きも追従し画像投影する深度考慮型ダイナミックプロジェクションマッピングを開発した。例えば、前景の顔だけでなく、背景の布地も動きに応じた画像投影をマーカーレスで行う。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
東京工業大学、東京エレクトロンデバイス、ドイツのFraunhofer IOF、ドイツのVialux GmbHによる研究チームが開発した「Depth-Aware Dynamic Projection Mapping using High-speed RGB and IR Projectors」は、動く対象物だけでなく、動く背景の奥行きも追従し画像投影する深度考慮型ダイナミックプロジェクションマッピング(Depth-aware dynamic projection mapping、Depth-aware DPM)だ。例えば、前景の顔だけでなく、背景の布地も動きに応じた画像投影をマーカーレスで行う。
これまでダイナミックプロジェクションマッピングは、動く対象物を高速に追従し、ぴったり貼りついているような映像を投影する技術として発展してきた。今では、顔や布地、液体までも動く対象物にでき、マーカーレスも可能だ。しかし、動く対象物と動く背景を含めたシーン全体を追従し、その全てをマーカーレスで画像投影することはできていない。
今回は、動く背景を含むシーン全体のダイナミックプロジェクションマッピングを行うアプローチを提案する。そのためには、(1)シーンの深度マップを高速に取得、(2)ミリ秒精度のマーカーレス・トラッキング、(3)シーンをUVテクスチャ領域とそれ以外の領域に分離し、(4)領域ごとに応じた外観をレンダリング、(5)それらを低遅延で混合し画像投影する、という5段階で行う解決策が有効と、研究チームは考えた。
しかし、市販の民生用センサーを使ったプロジェクターシステムでは、ダイナミックプロジェクションマッピングの要件を満たす速度で奥行きキャプチャーと3Dトラッキングを実現できない。研究では、947fpsの24bit高速RGBプロジェクター、500fpsの高速IRカメラ、そして新たに開発した2880fpsの8bitIR高速プロジェクターを組み合わせた新しいダイナミックプロジェクションマッピングシステムを使う。
システムでは、IRプロジェクター・カメラのペアで深度マップを取得し、RGBプロジェクターで深度を考慮したDPM画像を投影している。深度センシングは位相シフトに基づいており、正弦波とグレーコードのパターンを交互に500fpsで赤外域に投影して取り込むことで動作する。フレーム間の動きが微小であることを利用し、0.4msの処理時間でのトラッキングを達成した。この手法は、トラッキングの対象物が剛体であることを前提としている。
レンダリングは、トラッキングした姿勢の結果を基に、UVテクスチャ情報を持つ3Dモデル、また残りの表面についても、キャプチャーした深度から頂点と法線データを配置し、グラフィックを描画する。これらにより、シーン全体に対して、奥行きを考慮したダイナミックプロジェクションマッピングを行え、約8msの遅延で実証した。
深度情報も取得しているため、距離に応じてライティングの陰影が変わるなどの表現も新たに可能になるという。
Source and Image Credits: Sora Hisaichi, Kiwamu Sumino, Kunihiro Ueda, Hidenori Kasebe, Tohru Yamashita, Takeshi Yuasa, Uwe Lippmann, Petra Aswendt, Roland Hofling, and Yoshihiro Watanabe. 2021. Depth-Aware Dynamic Projection Mapping using High-speed RGB and IR Projectors. In SIGGRAPH Asia 2021 Emerging Technologies (SA ’21 Emerging Technologies). Association for Computing Machinery, New York, NY, USA, Article 3, 1-2. DOI:https://doi.org/10.1145/3476122.3484843
関連記事
- 動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷
これまで何度か紹介してきたダイナミックプロジェクションマッピング技術。その変遷をまとめた。 - コロナ禍にTwitter上で拡散したデマツイート、東大と和歌山大が調査 社会や個人への影響度を分析
東京大学と和歌山大学の研究チームは、新型コロナウイルス感染症で起こったパンデミック時にTwitterに投稿された流言を収集し分析した。 - 3Dプリントしたゼラチンをゲームコントローラーで操作 破損しても5回まで再印刷可能
オーストリアのJohannes Kepler University Linzの研究チームは、3Dプリンタを使い、ゼラチンベースの生分解性ハイドロゲルを造形できる手法を開発した。アクチュエータやセンサーを搭載することで、ゲーム用コントローラーでハイドロゲルを制御できる。 - 複数のタブレットアームスタンドでデバイスを連携 角度を変えるだけで画面を切り替え
米Microsoft Researchなどの研究チームは、タブレットやラップトップを支えるアームスタンドをベースとした、マルチデバイスの連携を実現するためのワークスペース・プラットフォームを開発した。 - 「誰がモデルか、なんとなく分かる」アニメ風の顔画像に変換するAI、台湾の研究チームが開発
国立台湾科技大学の研究チームは、現実の顔のアイデンティティーを維持したままアニメ風の顔画像に変換するGANを使ったシステムを開発した。実写感を排除しているのに、元の顔の原型をできるだけ残した点が特徴だ。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.