密集で隠れている人の姿勢をリアルタイム追跡 複数カメラで正確に：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国の清華大学と天津大学の研究チームが開発した「4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras」は、複数のビデオカメラを使用し、リアルタイムで多人数のモーションキャプチャーを行うシステムだ。近接した密集状態でも、マーカーレスで高精度なトラッキングを行う。

5台のRGBカメラ（解像度2048×2048）を使用して5人分の動作を30fpsでキャプチャーしている様子

　1台のカメラから多人数の動きを捉えるモーションキャプチャーシステムでは、それぞれが重なり合うことで隠れる領域（オクルージョン）があると、精度を落としてしまうという問題を抱えている。

　複数のカメラで周囲を囲むように捉えた場合は、オクルージョンの問題を大幅に軽減できるが、現状では近接した密集下でのリアルタイム性能と高品質のキャプチャーは両立できない。

　本手法では、5、6台の同期したマルチビュービデオカメラのみを使用して、オクルージョンがあっても安定したリアルタイムの多人数モーションキャプチャーシステムを可能にする。

本手法の出力結果。オクルージョンが激しくても安定したキャプチャーを行う

　提案するフレームワークは4次元アソシエーショングラフと呼ばれ、各次元（画像空間、視点、時間）を等しく同時に扱う。多視点カメラからの画像を入力に、現在のフレームで検出された2次元骨格関節と、前のフレームで検出された3次元骨格関節をグラフのノードとし、ノード間の信頼度を計算してエッジを構築する。

本手法の概要図

　このように計算したモデルは、オクルージョンの多い密接な相互作用運動の検出に強く、リアルタイムで3次元スケルトンの再構成を実現するという。これまでの類似研究と比較した実験でも、定量的に上回る結果を報告した。

人同士が重なり見えない領域ができた時の精度比較。（左）従来の手法（右）本手法