ニュース
Webカメラ1台で多人数モーションキャプチャーする「XNect」 深度センサーも専用スーツも使わずリアルタイムで:Innovative Tech
安価なWebカメラで深度センサーや専用スーツを使ったモーションキャプチャーシステムを凌駕する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
独Max Planck Institute for Informatics(MPI-Inf)、独ザールラント大学、カンダのブリティッシュコロンビア大学による研究チームが開発した「XNect」は、深層学習を活用することで、安価なWebカメラ1台だけで多人数の全身3Dモーションキャプチャーをリアルタイムで行う技術だ。
使用するのは深度センサーなしのWebカメラだけ。反射マーカー付きボディースーツを着てカメラアレイを使って記録する従来のモーションキャプチャー手法に比べ、低コストかつ容易にシステムを構築できる。人や物に重なって隠蔽(オクルージョン)された部分もキャプチャーできるため、Kinectなどの深度センサーを使う従来手法より精度が高い。さらにフレームレートは従来は10〜15fpsが多かったが、今回の手法では15fps以上で動作する。
カメラで捉えた情報は、SelecSLS Netと呼ぶ深層学習ネットワークアーキテクチャで、3つのステージに分かれた構成で処理する。
出力したデータは、バーチャルキャラクターのリアルタイム制御や、格闘技や社交ダンスなのど複数人で行う運動の分析に活用できる。
関連記事
- 「バッグが開いてますよ」と教えてくれるスマートファスナー「Zippro」 指紋認証も装備
バックパックが開いたままで歩いていることがなくなるかもしれない。 - 布の上で空中ジェスチャー操作 ダートマス大学やMicrosoftなど「Fabriccio」開発
ズボンやソファの上空でジェスチャーすると操作ができる。Pixel 4にあった機能。 - 最適なタイミングでボールを放してくれるデバイス 東大が開発
ボールをどこで放したら目標に当たるのかを判断してくれる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.