「見えないキーボードで文字入力」 腕にスプレーを吹きかけ、皮膚センサーで認識：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米スタンフォード大学、韓国のKAIST、ソウル大学校、建国大学校に所属する研究者らが発表した論文「A substrate-less nanomesh receptor with meta-learning for rapid hand task recognition」は、手の甲や腕に直接吹きかけたスプレーで皮膚の伸縮を電気的に検知し、手の動きを機械学習モデルで認識する手法を提案した研究報告である。

　動かした指や手を認識できるため、見えないキーボードで文字を入力したり、触覚だけで物体を識別したり、VR環境でのハンドジェスチャーなどに活用できる。

この手法を用いた両手QWERTYキーボード入力の認識と、相互作用する物体のリアルタイム認識

　リストバンドやウェアラブルグローブによって、手の動きを検知して物体やジェスチャーを認識できるが、これらのデバイスは全ての関節の動きをピンポイントで計測するために、複数のセンシング部品が必要となりかさばる。また、アルゴリズムを学習させるためには、ユーザーやタスクごとに大量のデータを収集する必要がある。

　今回はこれら課題に対して、手の甲や腕にスプレー方式で印刷する、かさばらないセンシングを行う手法を提案する。センサーは手の甲や腕に直接噴射して皮膚に装着する。貼り付けたセンサーは、皮膚が伸びたり曲がったりするのを感知し、機械学習モデルによって手の動きやハンドジェスチャーを分類する。

スプレー式印刷システムの概要

　このスプレーは、耐久性と伸縮性を兼ね備えたポリウレタンに、吹き付け可能な導電可能な物質を埋め込んだものである。センサーは、金でコーティングした数百万の銀のナノワイヤで構成しており、互いに接触してダイナミックな電気回路を形成している。

　センサーは人間の指のしわや折り目にぴったりとフィットし通気性があり、せっけんと水で擦らない限りその状態を維持できる。

吹き付けたセンサーには銀のナノワイヤを搭載しており、電気回路を形成している。

　指が曲がったりねじれたりすると、センサー内のナノワイヤが互いに押し縮められ、引き伸ばされ、電気伝導率が変化する。この変化を測定・分析することで、手や指、関節の動きを正確に検知する。そして、軽量なBluetoothモジュールを腕に取り付けるだけで、信号の変化をワイヤレスで伝送する。

Bluetoothモジュールをセンサーに接続することで、無線通信が行える

　分類モデルでは、ユーザーに依存せず、データ効率よくさまざまな手のタスクを認識することができる、教師なしメタ学習フレームワークを採用している。

　センサーを評価するため研究者らは、タッチで簡単な物体を認識できるアプリケーションと、見えないキーボードで両手タイピングできるアプリケーションを作り、その有効性を実証した。

透明なキーボード風のアクリル板でテストしている様子

　今回は腕への装着に焦点を当てたが、顔に貼り付けることも可能で、表情を読み取るセンサーとしての応用も期待できる。

Source and Image Credits: Kim, K.K., Kim, M., Pyun, K. et al. A substrate-less nanomesh receptor with meta-learning for rapid hand task recognition. Nat Electron (2022). https://doi.org/10.1038/s41928-022-00888-7