Kinectで高品質にリアルタイム3Dスキャン Microsoftなど「TextureFusion」開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　韓国KAISTと米Microsoft Research Asiaの研究チームが開発した「TextureFusion」は、 Microsoft Kinectに代表される、RGBカラー画像に加えて深度情報を取得できるRGB-Dカメラを用いたリアルタイム3Dスキャンで、高品質のテクスチャマッピングを行う手法だ。

Kinectを用いてリアルタイムに3Dスキャンしている様子

　手軽に使えるKinectなどのRGB-Dカメラは、物体や空間のリアルタイム3Dスキャンで広く使われるようになったが、その出力結果には多くのノイズが含まれ、ぼやけた低品質のテクスチャになるのが現状だ。

（左）従来の手法によるRGB-Dカメラを用いた3Dスキャンの出力結果（右）本手法を用いた3Dスキャンの出力結果

　従来のオンラインスキャン法は、ボクセルごとに色情報を復元するため、空間分解能と時間性能にトレードオフが起きる。深度ノイズ、深度画像とカラー画像のゆがみ、深度フレームとカラーフレーム間の非同期化などRGB-Dカメラ特有の不自然さがカラー画像のミスマッチを引き起こしている。

　本手法ではRGB-Dカメラによるリアルタイム3Dスキャンに特化したテクスチャ最適化フレームワークを提案する。このフレームワークは、テクスチャ空間と符号付き距離関数を組み合わせた新しいボクセルグリッドを採用し、高解像度のテクスチャマッピングを可能にする。

　撮影した画像をテクスチャマップとして利用するパースペクティブマッピングを採用し、ジオメトリとテクスチャ間のミスマッチを効率的に減少させる。これにより、リアルタイムでジオメトリを更新しながら、時間の経過とともにテクスチャを品質向上させる。

　その結果、オンラインでありながら、既存のオフライン法に劣ることのない、非常に優れた復元精度を示したという。また最大35fpsと高速に復元できることも実証した。

出力結果を比較した図。右端列が本手法、その他が従来のオンライン/オフラインの手法