全身の動きを予測するカーペット MITが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米マサチューセッツ工科大学（MIT）の研究チームが開発した「Intelligent Carpet: Inferring 3D Human Pose from Tactile Signals」は、大量の圧力センサーが埋め込まれたカーペットで人の全身運動を予測するモーションキャプチャーシステムだ。深層学習を使い、カーペットに接触する体の情報から全身の3次元姿勢をリアルタイムに推定する。

カーペットには大量の圧力センサーが組み込まれており、その上で動作する人の全身運動を深層学習で予測する仕組み

　今回は、床のカーペットに埋め込んだ圧力センサーのみで全身の動きを予測する手法を提案する。カーペットには、9216個の圧力センサーを36平方フィート（3.34平方メートル）の面積に0.375インチ（0.95cm）の間隔で配置し、低コストながら触覚データを高解像度でリアルタイムに記録する。

9216個の圧力センサーを搭載した36平方フィートのカーペット。下段はRGBカメラで撮影した動作の様子とそれに対応する圧力マップ

　研究チームは、触覚情報のみを使い人間の3次元姿勢を予測する深層学習ネットワークを実装。データセットを作成するため、カーペット上で横になる、歩く、簡単な運動をするなどの日常活動を行う10人分の触覚と視覚の同期フレームを180万個以上収集した。

次元姿勢推定の定性的な結果を時間軸に沿って示したもの

　学習後は平均10cm以下のエラー率で人間の3次元姿勢を予測。屈伸運動や立ったまま体をねじるなどの上半身の動きも違和感なく予測でき、2人が同時にカーペットに乗った際も問題なく予測できたとしている。