　東京大学大学院情報理工学系研究科の中村仁彦研究室とNTTドコモの研究チームが1月17日に発表した「Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space Multi-Person Video Motion Capture in the Wild」は、カメラ映像から人物のモーションキャプチャを行う技術「VMocap」を応用したもので、複数人対応が可能になった。

本技術を用い、カメラ映像から複数人を同時にモーションキャプチャする様子

　特殊な装置やスーツを用いずに、屋内外、服装も問わず広い空間にいる複数人をマーカーレスでモーションキャプチャできる。これにより、スポーツの試合やライブ会場など、従来モーションキャプチャが困難だった場所でも手軽にモーションデータを取得し、運動解析や3Dアニメーションの作成が可能になる。また、フットサルのように複数の選手が激しく動き回るようなシーンでも、高精度で滑らかなモーションデータや骨の動きを取得できる。

12台のカメラを用い、フットサルの選手全員を同時にモーションキャプチャする様子。可動域まで考慮した関節角度を計算することで、骨の動きをCGとして描いている

　本技術は解析に用いるべき最適な映像を、複数のカメラから自動的に選択して切り替えることで、広い空間における複数人のモーションキャプチャを行う。また、異なる人の体が映像上で重なって見える状況下でも、人の骨格構造と運動の連続性、そして最新の姿勢推定技術を活用することでロバストに運動を推定できる。

　具体的には、各カメラ映像から深層学習によって関節の存在確率を推定し、複数台分組み合わせることで関節が存在する空間上での位置を計算する。これを目標位置とし、2回の逆運動学計算による人間骨格モデルの最適化計算に落とし込み、人の三次元姿勢を取得する。取得された三次元姿勢は運動の連続性を考慮しつつ次フレームにおける関節の存在確率の推定に用いられる。この処理を繰り返し行うことで、一人ずつモーションキャプチャを行い、人数ごとに並列に計算することで複数人の高精度なモーションキャプチャを実現する。

本技術の概略図。解析に用いるべき最適な映像を、複数のカメラから自動的に選択して切り替えることで、映像上における各対象の身体部位を推定する。この推定を複数の視点から行いつつ、骨格構造や運動の連続性に基づくフィルタ処理を施すことで、高精度で滑らかなモーションデータを取得する。取得されたモーションデータは、次時刻の映像選択に用いられ、この一連のループが最終的なモーションキャプチャの性能に好循環をもたらし、複数人のモーションキャプチャを可能にする

　本技術に加え、ロボティクスに基づいた動作解析技術（逆動力学計算）を用いることで、骨の運動だけでなく身体に働く力や筋の活動まで計算し、可視化できることを確認した。これにより複数台のカメラ映像だけから、運動の計測・解析までが一貫して行える。