ITmedia NEWS > STUDIO >
ニュース
» 2020年08月21日 09時08分 公開

Innovative Tech:Webカメラ1台で多人数モーションキャプチャーする「XNect」 深度センサーも専用スーツも使わずリアルタイムで

安価なWebカメラで深度センサーや専用スーツを使ったモーションキャプチャーシステムを凌駕する。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 独Max Planck Institute for Informatics(MPI-Inf)、独ザールラント大学、カンダのブリティッシュコロンビア大学による研究チームが開発した「XNect」は、深層学習を活用することで、安価なWebカメラ1台だけで多人数の全身3Dモーションキャプチャーをリアルタイムで行う技術だ。

photo XNectは、1台のWebカメラからシーン内の複数人物の3D姿勢を推定し、相対位置を計算する

 使用するのは深度センサーなしのWebカメラだけ。反射マーカー付きボディースーツを着てカメラアレイを使って記録する従来のモーションキャプチャー手法に比べ、低コストかつ容易にシステムを構築できる。人や物に重なって隠蔽(オクルージョン)された部分もキャプチャーできるため、Kinectなどの深度センサーを使う従来手法より精度が高い。さらにフレームレートは従来は10〜15fpsが多かったが、今回の手法では15fps以上で動作する。

 カメラで捉えた情報は、SelecSLS Netと呼ぶ深層学習ネットワークアーキテクチャで、3つのステージに分かれた構成で処理する。

photo SelecSLS Netアーキテクチャ

 出力したデータは、バーチャルキャラクターのリアルタイム制御や、格闘技や社交ダンスなのど複数人で行う運動の分析に活用できる。

photo 推定した人の動きをバーチャルキャラクターや集団ダンスなどに活用できる

Copyright © ITmedia, Inc. All Rights Reserved.