Innovative Tech

Webカメラ1台で多人数モーションキャプチャーする「XNect」　深度センサーも専用スーツも使わずリアルタイムで

公開 2020年08月21日 09時09分

更新 2024年04月02日 11時45分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　独Max Planck Institute for Informatics（MPI-Inf）、独ザールラント大学、カンダのブリティッシュコロンビア大学による研究チームが開発した「XNect」は、深層学習を活用することで、安価なWebカメラ1台だけで多人数の全身3Dモーションキャプチャーをリアルタイムで行う技術だ。

XNectは、1台のWebカメラからシーン内の複数人物の3D姿勢を推定し、相対位置を計算する

　使用するのは深度センサーなしのWebカメラだけ。反射マーカー付きボディースーツを着てカメラアレイを使って記録する従来のモーションキャプチャー手法に比べ、低コストかつ容易にシステムを構築できる。人や物に重なって隠蔽（オクルージョン）された部分もキャプチャーできるため、Kinectなどの深度センサーを使う従来手法より精度が高い。さらにフレームレートは従来は10～15fpsが多かったが、今回の手法では15fps以上で動作する。

　カメラで捉えた情報は、SelecSLS Netと呼ぶ深層学習ネットワークアーキテクチャで、3つのステージに分かれた構成で処理する。