Innovative Tech

揺らして遊べるプロジェクションマッピング　東北大が開発

公開 2020年07月22日 10時20分

更新 2020年07月22日 10時19分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東北大学の研究チームが開発した「Interactive Stickies」は、インタラクティブに遊べるプロジェクションマッピングシステムだ。映像コンテンツが平面にぴったり貼り付いているように追従して投影するだけでなく、平面上の静的物体（印刷や手描きの絵）と、投影した動的物体（プロジェクターによる映像コンテンツ）が相互作用しているように見せられる。

平面上に追従投影した動的物体と、平面上に印刷もしくは手描きした静的物体との相互作用を可能にする

　プロトタイプは、同研究チームが以前開発したプロジェクションマッピング技術「Animated Stickies」に基づいて実装。Animated Stickiesは、プロジェクター（事前キャリブレーションなし）とカメラを組み合わせ、映像コンテンツを高速で移動するマーカーレスの平面上に低遅延で追従投影するシステムだ。

　Animated Stickiesでは投影するコンテンツ中にごく短時間だけ画像追跡用のパターンを埋め込み、そのパターン設計を工夫することにより、1枚のカメラ画像から物体追跡と映像コンテンツ追跡を分離して行う。そのおかげで事前の位置合わせやキャリブレーションを不要とした投影（CPU上の実装は毎秒400フレーム）が可能だ。

　今回のアプローチではAnimated Stickiesによる追従投影に加え、平面上に印刷された、もしくは手描きの絵と、投影された映像コンテンツとの相互作用を可能にする。投影されている状態で実際に平面自体を動かすと、平面に描かれた線にぶつかりながら映像コンテンツが移動する。

平面を動かすと、その動きに応じて映像コンテンツ（カラー玉）が印刷された画像にぶつかりながら移動する

　このような相互作用を可能にするため、投影された映像コンテンツと表面上の絵のシミュレーションに2次元物理エンジンを使用し、平面を動かした際のバーチャルな重力および慣性力を計算している。

　特徴は、投影される映像コンテンツの生成と、平面上へのマッピング制御が異なるフレームレートで行われていること。映像コンテンツは最大60fpsで生成されHDMIポートを通じてプロジェクターに送信されるが、その映像コンテンツは400fpsのマッピング制御により平面上に正確に位置合わせされる。そのため、映像コンテンツの生成には遅延があるにもかかわらず、その動きは平面上に物理的に描かれた絵と位置ずれを生じることなく相互作用しているように見える。