Webカメラ1台で多人数モーションキャプチャーする「XNect」 深度センサーも専用スーツも使わずリアルタイムで：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　独Max Planck Institute for Informatics（MPI-Inf）、独ザールラント大学、カンダのブリティッシュコロンビア大学による研究チームが開発した「XNect」は、深層学習を活用することで、安価なWebカメラ1台だけで多人数の全身3Dモーションキャプチャーをリアルタイムで行う技術だ。

XNectは、1台のWebカメラからシーン内の複数人物の3D姿勢を推定し、相対位置を計算する

　使用するのは深度センサーなしのWebカメラだけ。反射マーカー付きボディースーツを着てカメラアレイを使って記録する従来のモーションキャプチャー手法に比べ、低コストかつ容易にシステムを構築できる。人や物に重なって隠蔽（オクルージョン）された部分もキャプチャーできるため、Kinectなどの深度センサーを使う従来手法より精度が高い。さらにフレームレートは従来は10〜15fpsが多かったが、今回の手法では15fps以上で動作する。

　カメラで捉えた情報は、SelecSLS Netと呼ぶ深層学習ネットワークアーキテクチャで、3つのステージに分かれた構成で処理する。

SelecSLS Netアーキテクチャ

　出力したデータは、バーチャルキャラクターのリアルタイム制御や、格闘技や社交ダンスなのど複数人で行う運動の分析に活用できる。

推定した人の動きをバーチャルキャラクターや集団ダンスなどに活用できる