ITmedia NEWS > 科学・テクノロジー >
ニュース
» 2021年09月07日 08時00分 公開

脂肪のプルンプルンも再現 人の細かい動きを市松模様スーツでモーションキャプチャーInnovative Tech(2/3 ページ)

[山下裕毅,ITmedia]

 こうした人間の細かい姿勢推定技術については、モーションキャプチャースーツに反射マーカーを付ける先行研究があるが、隠れたマーカーの復元など課題も多い。低次元の骨格ボディーモデルの再現には十分であるが、脂肪の変形や呼吸による皮膚のゆがみ、筋肉の痙攣(けいれん)など、微細な動きは捉えきれていない。

 今回のシステムは、動いている身体を高精細に撮影するために、白黒の市松模様スーツを使用して身体表面のポイントを正確に特定する。モーションキャプチャースーツの市松模様の各角を外部カメラとCNN(Convolutional Neural Network)で検出する。

 白い四角形の中には、数字とアルファベットによる2文字を印字。固有のラベルを付け、ゆがみを補正するためだ。補正後は深層学習ネットワークに送り、角の位置の特定と固有のラベルを決定する。

photo 市松模様の角を検出しラベリングするパイプライン

 時間的な追跡や人体の形状、骨格の運動モデルに依存せず、個々の2D入力画像のみから推定するため、外的影響を受けにくく、見えている部分が少なくても成功する。従来の手法では複雑だったオクルージョン(前面にものがあり、後ろが隠れてしまう問題)も解決する。

 実験で使用したモーションキャプチャースーツは、中(1487個の角)と小(1119個の角)の2サイズを用意した。マルチカメラキャプチャーシステムは、16台のRGBカメラと照明が撮影領域を囲むように配置する。ヨガや体操、地面を転がるなどの難しい動作を含め、さまざまな人間のポーズを撮影した。

photo ヨガや体操などの挑戦的なポーズでの出力結果。緑が再構成したメッシュ

Copyright © ITmedia, Inc. All Rights Reserved.