Innovative Tech

「見えないキーボードで文字入力」　腕にスプレーを吹きかけ、皮膚センサーで認識

公開 2023年01月16日 08時01分

更新 2024年04月02日 11時21分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米スタンフォード大学、韓国のKAIST、ソウル大学校、建国大学校に所属する研究者らが発表した論文「A substrate-less nanomesh receptor with meta-learning for rapid hand task recognition」は、手の甲や腕に直接吹きかけたスプレーで皮膚の伸縮を電気的に検知し、手の動きを機械学習モデルで認識する手法を提案した研究報告である。

　動かした指や手を認識できるため、見えないキーボードで文字を入力したり、触覚だけで物体を識別したり、VR環境でのハンドジェスチャーなどに活用できる。

この手法を用いた両手QWERTYキーボード入力の認識と、相互作用する物体のリアルタイム認識

　リストバンドやウェアラブルグローブによって、手の動きを検知して物体やジェスチャーを認識できるが、これらのデバイスは全ての関節の動きをピンポイントで計測するために、複数のセンシング部品が必要となりかさばる。また、アルゴリズムを学習させるためには、ユーザーやタスクごとに大量のデータを収集する必要がある。

　今回はこれら課題に対して、手の甲や腕にスプレー方式で印刷する、かさばらないセンシングを行う手法を提案する。センサーは手の甲や腕に直接噴射して皮膚に装着する。貼り付けたセンサーは、皮膚が伸びたり曲がったりするのを感知し、機械学習モデルによって手の動きやハンドジェスチャーを分類する。

スプレー式印刷システムの概要

　このスプレーは、耐久性と伸縮性を兼ね備えたポリウレタンに、吹き付け可能な導電可能な物質を埋め込んだものである。センサーは、金でコーティングした数百万の銀のナノワイヤで構成しており、互いに接触してダイナミックな電気回路を形成している。

　センサーは人間の指のしわや折り目にぴったりとフィットし通気性があり、せっけんと水で擦らない限りその状態を維持できる。

吹き付けたセンサーには銀のナノワイヤを搭載しており、電気回路を形成している。

　指が曲がったりねじれたりすると、センサー内のナノワイヤが互いに押し縮められ、引き伸ばされ、電気伝導率が変化する。この変化を測定・分析することで、手や指、関節の動きを正確に検知する。そして、軽量なBluetoothモジュールを腕に取り付けるだけで、信号の変化をワイヤレスで伝送する。

Bluetoothモジュールをセンサーに接続することで、無線通信が行える

　分類モデルでは、ユーザーに依存せず、データ効率よくさまざまな手のタスクを認識することができる、教師なしメタ学習フレームワークを採用している。

　センサーを評価するため研究者らは、タッチで簡単な物体を認識できるアプリケーションと、見えないキーボードで両手タイピングできるアプリケーションを作り、その有効性を実証した。

透明なキーボード風のアクリル板でテストしている様子

　今回は腕への装着に焦点を当てたが、顔に貼り付けることも可能で、表情を読み取るセンサーとしての応用も期待できる。

Source and Image Credits: Kim, K.K., Kim, M., Pyun, K. et al. A substrate-less nanomesh receptor with meta-learning for rapid hand task recognition. Nat Electron (2022). https://doi.org/10.1038/s41928-022-00888-7

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る