“毎秒5600フレーム”で投影できる世界最速プロジェクター 東工大が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　東京工業大学の渡辺研究室に所属する研究者らが発表した論文「High-Frame-Rate Projection with Thousands of Frames Per Second Based on the Multi-Bit Superimposition Method」は、8ビットの画像を毎秒5600フレーム（fps）で投影するプロジェクター・システムを提案した研究報告である。

5600fpsで投影できる、2台のプロジェクターを使用した投影システム

　プロジェクターは通常、1秒間に30〜60fpsで投影するのが一般的である。しかし、ゲームやダイナミックプロジェクションマッピング（DPM）、コンピュータビジョン、3Dディスプレイなどの分野での応用では、より高いフレームレートが求められている。

　例えば、動いている対象に追従して映像を映し出すDPMは、移動する対象と投影される映像の間のずれを少なくするため、高いフレームレートが必要である。このずれを感知させないためには、対象の動きを捉えるタイミングから映像が投影されるまでの時間が数ミリ秒以下でなければならない。この要件を満たすためには、フレームレートが少なくとも1000fps以上が必要である。DPMに関する詳細は、以下の記事を参照されたい。

（関連記事：動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷）

　現在の先進的なプロジェクターは、デジタルミラーデバイス（DMD）の最小制御時間が44μsの際、DLP（デジタルライトプロセッシング）技術を活用し、8ビットの画像を最大2841fpsで投影可能である。この研究では、さらなる高フレームレートの実現を目的とし、2台のプロジェクターを利用して8ビットの画像を5600fpsで投影する手法を提案している。

　画像の情報量を1ピクセルごとに示す指標は「ビット深度」と呼ばれる。通常、1台のDLPプロジェクターはこのビット深度を1つずつ順番に投影する。この研究のアプローチでは、ビット深度を複数のプロジェクター間で分割して投影する。例えば、8ビットの画像の場合、2台のプロジェクターで4ビットずつに分けて投影する。

投影している様子

　さらに、このシステムの投影輝度を最大化するための最適化方法も提案されている。どのビット深度をどのように分割するか、DMDの制御時間や光の変調手法などのパラメータが考慮される。これらのパラメータは、使用するプロジェクターの数や目指すフレームレートに応じて調整される。

　実験では、2台のプロジェクターを上下に配置して投影システムを構築した。上部のプロジェクターからの光は鏡で反射され、その反射光はビームスプリッターを経由して、下部のプロジェクターからの光と合流する。このシステムの設計により、2台のプロジェクターの光を1つの光束に統合し、結果的に単一の映像を投影できる。

プロジェクター2台、鏡、ビームスプリッターを配置した実験用セットアップ

　この方法により、従来のフレームレートを最大2倍に向上させ、5600fpsでの8ビット投影を実現できた。特に、同じフレームレートの単一プロジェクターを使用したディザリングと比較して、高い階調の画像の投影が可能だった。理論的にはプロジェクタの台数を増やすことで、従来の最大8倍までフレームレートを向上可能である。

　評価実験の様子を確認したい。まず、フクロウが飛び立つ映像（正しい再生速度は1秒間に25枚提示:25fps再生）を5600fpsで投影し、その手前で風船を割るシーンを撮影する。この撮影動画を実時間再生すると、風船は通常通り一瞬で破裂し、フクロウの映像は224倍速になるため（25fpsの映像を5600fpsで投影しているため）、速すぎてフクロウがほとんど目視できない状態で映し出される。

　次に、先ほどと同様に5600fpsで投影した映像を、今度は234倍のスローモーションで再生すると、手前の風船の映像がスローで映し出される。対照的に、背景のフクロウが飛び立つ映像は、風船が破裂している短い間に滑らかに表示される。

上段から風船が割れ始め、下段に向かって割れる様子が5600fpsで投影され、560倍のスローモーションで再生されている。風船が割れている一瞬の間に、背景で再生されるフクロウが飛び立つ映像（25fps）が滑らかに映し出されるのが確認できる

　この結果は、非常に高いフレームレートが達成されたことを示している。

Source and Image Credits: Soran Nakagawa and Yoshihiro Watanabe: High-Frame-Rate Projection with Thousands of Frames Per Second Based on the Multi-Bit Superimposition Method, IEEE International Symposium on Mixed and Augmented Reality（ISMAR）, 2023.