カメラ映像から複数人の動きを骨格・筋レベルで同時検出 東大とドコモがモーションキャプチャ技術発表:Innovative Tech
動きの激しい、多人数がプレイするスポーツでモーションキャプチャが可能な技術が開発された。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
東京大学大学院 情報理工学系研究科の中村仁彦研究室とNTTドコモの研究チームが1月17日に発表した「Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space Multi-Person Video Motion Capture in the Wild」は、カメラ映像から人物のモーションキャプチャを行う技術「VMocap」を応用したもので、複数人対応が可能になった。
特殊な装置やスーツを用いずに、屋内外、服装も問わず広い空間にいる複数人をマーカーレスでモーションキャプチャできる。これにより、スポーツの試合やライブ会場など、従来モーションキャプチャが困難だった場所でも手軽にモーションデータを取得し、運動解析や3Dアニメーションの作成が可能になる。また、フットサルのように複数の選手が激しく動き回るようなシーンでも、高精度で滑らかなモーションデータや骨の動きを取得できる。
本技術は解析に用いるべき最適な映像を、複数のカメラから自動的に選択して切り替えることで、広い空間における複数人のモーションキャプチャを行う。また、異なる人の体が映像上で重なって見える状況下でも、人の骨格構造と運動の連続性、そして最新の姿勢推定技術を活用することでロバストに運動を推定できる。
具体的には、各カメラ映像から深層学習によって関節の存在確率を推定し、複数台分組み合わせることで関節が存在する空間上での位置を計算する。これを目標位置とし、2回の逆運動学計算による人間骨格モデルの最適化計算に落とし込み、人の三次元姿勢を取得する。取得された三次元姿勢は運動の連続性を考慮しつつ次フレームにおける関節の存在確率の推定に用いられる。この処理を繰り返し行うことで、一人ずつモーションキャプチャを行い、人数ごとに並列に計算することで複数人の高精度なモーションキャプチャを実現する。
本技術の概略図。解析に用いるべき最適な映像を、複数のカメラから自動的に選択して切り替えることで、映像上における各対象の身体部位を推定する。この推定を複数の視点から行いつつ、骨格構造や運動の連続性に基づくフィルタ処理を施すことで、高精度で滑らかなモーションデータを取得する。取得されたモーションデータは、次時刻の映像選択に用いられ、この一連のループが最終的なモーションキャプチャの性能に好循環をもたらし、複数人のモーションキャプチャを可能にする
本技術に加え、ロボティクスに基づいた動作解析技術(逆動力学計算)を用いることで、骨の運動だけでなく身体に働く力や筋の活動まで計算し、可視化できることを確認した。これにより複数台のカメラ映像だけから、運動の計測・解析までが一貫して行える。
今後は本技術を、サッカー、野球、体操、フィギュアスケートなどのスポーツに適用し、トレーニングや戦術解析、障害予防、運動のアーカイブ化などに役立て、またエンターテインメント領域における3Dアニメーション作成、介護・リハビリ現場での運動評価などにも活用していく予定だ。
関連記事
- 光の当たり方から最適な撮影ポジション指定 スタンフォード大学が開発
光の魔法を代わりに計算してくれる技術が開発された。 - 「不要なシーン」を音で予測 動画編集を効率化する「Listen to Look」、Facebookなど開発
動画の編集に要する時間を著しく短縮させる可能性のある技術がFacebookなどによって開発された。 - 深層学習でリップシンク動画生成 SiriやAlexaにも対応する「Neural Voice Puppetry」
深層学習を使ってフェイシャルアニメーションを自動生成する仕組み。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.