動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷（4/8 ページ）

[山下裕毅，ITmedia]

非剛体曲面への応用

　高速ビジョンと高速プロジェクターを組み合わせた映像投影は、動く物体に対する投影で、ズレを知覚されず、見る者に高い満足感を与えるものの、対象物は個体に限定されていた。

　石川グループ研究室は2015年、容易に変形する紙やTシャツなどのような非剛体曲面へのダイナミックプロジェクションマッピングを発表した。これまでは建物や置物などの剛体をスクリーンとしてきたが、今度は紙やTシャツのようにすぐ変形する非剛体への映像投影に挑戦した。

　しかし非剛体の変形は運動の自由度が高いうえ、変形によって生じる自己遮蔽が問題を複雑化するため、トラッキングが非常に難しかった。石川グループ研究室は、この課題を解決するため、新たに「Deformable Dot Cluster Marker」と呼ぶ非剛体変形トラッキング技術を開発した。

　この技術はマーカーを対象物表面に印字し、カメラによって観測されるマーカーのゆがみを介して対象物の変形を取得し追跡する。これにより、紙などの非剛体をランダムに曲げ変形させても安定した高速トラッキングを実現する。

Deformable Dot Cluster Markerを用いた非剛体へのトラッキング。紙を曲げても矛盾のないトラッキングを行う

　この強力な非剛体変形トラッキングを用い、高速ビジョンと高速プロジェクターを組み合わせた実験を行った。実験では着衣するTシャツの前面に映像投影し、着用者には激しく動いてもらう。結果は、人が動きTシャツが連続的に伸縮しても追従し、動きによって生じる隠蔽が発生しても違和感のない映像投影に成功した。

激しく動いてもTシャツからはみ出ることなく矛盾のない映像投影を行う

　さらに2016年には、新たに947fpsで8bit階調のカラー映像を切り替えられる新型の高速プロジェクター「DynaFlash v2」を開発した。これを使った非剛体曲面へのダイナミックプロジェクションマッピングは、カラー化に加え、10台のカメラを駆使して広範囲で3次元的に対象物の動きを捉えることに成功した。

DynaFlash v2を用いたダイナミックプロジェクションマッピングの出力結果

　2019年には「DynaFlash v3」を発表。前バージョンのカラー化を引き継ぎ、より高輝度でコンパクトな仕上がりを実現した。30cm四方に収まるサイズ、高輝度なLED、これらに最適化された光学系を搭載する。これにより947fpsで200ルーメン、500fpsで800ルーメンを達成。モノクロだと1000fpsで3000ルーメンを実現する。他にも解像度を下げてさらにフレームレートを高速化するなど、さまざまな投影モードの制御を可能にする。