脂肪のプルンプルンも再現 人の細かい動きを市松模様スーツでモーションキャプチャー：Innovative Tech（2/3 ページ）

[山下裕毅，ITmedia]

　こうした人間の細かい姿勢推定技術については、モーションキャプチャースーツに反射マーカーを付ける先行研究があるが、隠れたマーカーの復元など課題も多い。低次元の骨格ボディーモデルの再現には十分であるが、脂肪の変形や呼吸による皮膚のゆがみ、筋肉の痙攣（けいれん）など、微細な動きは捉えきれていない。

　今回のシステムは、動いている身体を高精細に撮影するために、白黒の市松模様スーツを使用して身体表面のポイントを正確に特定する。モーションキャプチャースーツの市松模様の各角を外部カメラとCNN（Convolutional Neural Network）で検出する。

　白い四角形の中には、数字とアルファベットによる2文字を印字。固有のラベルを付け、ゆがみを補正するためだ。補正後は深層学習ネットワークに送り、角の位置の特定と固有のラベルを決定する。

市松模様の角を検出しラベリングするパイプライン

　時間的な追跡や人体の形状、骨格の運動モデルに依存せず、個々の2D入力画像のみから推定するため、外的影響を受けにくく、見えている部分が少なくても成功する。従来の手法では複雑だったオクルージョン（前面にものがあり、後ろが隠れてしまう問題）も解決する。

　実験で使用したモーションキャプチャースーツは、中（1487個の角）と小（1119個の角）の2サイズを用意した。マルチカメラキャプチャーシステムは、16台のRGBカメラと照明が撮影領域を囲むように配置する。ヨガや体操、地面を転がるなどの難しい動作を含め、さまざまな人間のポーズを撮影した。

ヨガや体操などの挑戦的なポーズでの出力結果。緑が再構成したメッシュ