布の上で空中ジェスチャー操作 ダートマス大学やMicrosoftなど「Fabriccio」開発：Innovative Tech

ズボンやソファの上空でジェスチャーすると操作ができる。Pixel 4にあった機能。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米ダートマス大学、中国の北京航空航天大学、上海交通大学、武漢大学、そして米Microsoft Researchによる研究チームは、布地の上で空中ジェスチャーを可能にするタッチレスセンシング技術「Fabriccio」を発表した。Pixel 4の「Motion Sense」や「Leap Motion」に近い機能だが、布地に自然な形で縫い込めるところが特徴だ。

ズボンのポケット周辺に縫い合わせてFabriccioを実装し、スマートフォンをタッチレスジェスチャーで操作している様子

　ソファやズボンに縫い合わせることで、その上でのジャスチャーを検知し、スマートフォンやウェアラブルデバイスなどの操作を可能にする。プロトタイプでは、導電性の糸で作られた送受信ループアンテナを布に縫い合わせた。

　ドップラー効果に基づいて周波数の変移を観測することで、布地から約10cm離れた指先のジェスチャーを検出する。検出したジェスチャーは、機械学習で訓練したモデルによって、タッチレスジェスチャーで10種類、タッチジェスチャーで1種類を識別する。識別率は92.8％を達成した。

Fabriccioは、11種類のジェスチャー入力を識別する

　デモでは、ソファの肘置きに縫い合わせたテレビのリモコン、ズボンのポケット付近でスマートフォンを操作、バックパックの肩紐やテーブルクロスへの組み込みなどの用途が紹介されている。

ソファの肘置きにFabriccioを実装しテレビを操作している様子

バックパックの肩紐にFabriccioを実装し音楽アプリを制御している様子