ジャケットなど、ゆるい服の全身の動きを追跡 電子楽器「テルミン」をセンサーに利用：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　ドイツのDFKIとドイツのTU Kaiserslauternによる研究チームが開発した「MoCapaci: Posture and gesture detection in loose garments using textile cables as capacitive antennas」は、ゆったりとした衣服で全身の動きを検出するシステムだ。テルミン技術と導電性テキスタイルアンテナを使い、男性用ジャケットに組み込まれたプロトタイプでモーションキャプチャーを行う。

プロトタイプのジャケットを着て捉えたポーズやジェスチャーと信号の例

　これまでの全身の動きを追跡するモーションキャプチャーシステムのほとんどは、ブレスレットやストラップなどの専用アクセサリーを通して身体（もしくはタイトな衣服）にしっかりと固定したセンサー（慣性計測ユニットやひずみセンサーなど）を必要とする。そのため、複雑に動くゆったりとした衣服にセンサーを取り付けても正確に追跡することはできないでいた。

　この課題に挑戦するため、既製の部品を使った非接触型静電容量センシングに基づく、ゆったりとした衣服での身体検出のための新しい手法を提案する。

　この手法は、電子楽器テルミンの技術をセンサーとして応用する。テルミンとは、空中で手を動かして音量や音程をコントロールする電子楽器を指す。ピッチ調整用の長い金属棒（ロッドアンテナ）と音量調整用のアンテナ（ループアンテナ）から成り、アンテナの範囲内（電磁場）で移動する手の位置によって静電容量が変化し、これに伴って変動する周波数を音に変換する。

　プロトタイプでは、ロッドアンテナの代わりに柔らかい導電性のワイヤ（もしくは導電性のテキスタイル）を使用し、男性用ジャケットに組み込んだ。上半身の姿勢やジェスチャーを検出するために、胸、肩、背中、腕をカバーする4チャンネルのアンテナを設計した。

　フロントアンテナ（CH1、CH4）はポケットからトップボタンにつながり、ラペルの内側のシワに沿うようにノッチまで回り、肩から背中につながり、肩パッドの中央で終わる。

　胸部アンテナにはテキスタイルケーブルを使用し、ランニングステッチで裏地に直接縫い付けている。背中のアンテナ（CH2、CH3）はポケットから出て、広背筋の上を三角筋に向かってカーブし、外袖のラインに沿い、袖口ボタンの前で終わる。

　テルミンのコンポーネントであるOpenTheremin V3を2台ジャケットのポケットの中に入れ、4チャンネルをサポートする。チャンネルあたり100Hzでサンプリングし、USB経由でコンピュータに送り処理を行う。着用者の体の動きに合わせてアンテナが動き、その結果信号が変化し認識できる。

プロトタイプの概要

　日常動作に基づく上半身の20の姿勢とジェスチャー（胴体の傾きや両腕の動きなど）を分類するための深層学習モデルを構築した。実験では、被験者14人にジャケットを着用してもらい、立った状態で、これらの姿勢やジェスチャーを行ってもらった。

　その結果、平均95％の認識精度で検出することに成功した。見知らぬ人に対しても、平均85％以上の認識精度を達成し、ロバスト性を示した。

Source and Image Credits: Hymalai Bello, Bo Zhou, Sungho Suh, and Paul Lukowicz. 2021. MoCapaci: Posture and gesture detection in loose garments using textile cables as capacitive antennas. 2021 International Symposium on Wearable Computers. Association for Computing Machinery, New York, NY, USA, 78?83. DOI:https://doi.org/10.1145/3460421.3480418