イヤフォンの“音漏れ”を利用したハンドジェスチャー入力 筑波大と北海道大が開発:Innovative Tech
筑波大学と北海道大学に所属する研究者らは、イヤフォンの音漏れを利用して耳を覆いかぶすように手を添えてハンドジェスチャー入力を行う手法を提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
筑波大学と北海道大学に所属する研究者らが発表した論文「音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討」は、イヤフォンの音漏れを利用して耳を覆いかぶすように手を添えてハンドジェスチャー入力を行う手法を提案した研究報告である。イヤフォンからの音漏れが添えた手に反響し、その反響音のパターンを機械学習モデルで分類することで手の形状を識別し、入力に利用する。
イヤフォンの多くは、スマートフォンなどのデバイスと接続して制御するのが一般的である。感圧センサーや静電容量センサー、物理ボタンなどをイヤフォン本体に整備してイヤフォンのみで操作できるデバイスもあるが、デザインに制約が生じたり手袋をはめての操作が出来なかったりで課題も多い。
これらの課題に対して今回の研究では、イヤフォンが音を再生する時に発生する外部へと漏れる音響信号(音漏れ信号)に着目し、装着者の手の形状をジェスチャーとして認識する手法を提案する。
具体的には、イヤフォンから周波数が遷移するチャープ信号を再生することで発生する音漏れ信号を、イヤフォン外側に搭載したマイクにて録音する。この際に、ユーザーがデバイスを手で覆うことにより音漏れ信号は手と耳介で形成した空間内で反響する。この反響音の変化を取得し、パターンを機械学習モデルを用いて分類する。
これによって手の覆い方で、さまざまな入力が行える。中に空間を作って耳全体を覆う、中の空間なしで耳全体を覆う、手前の耳だけを覆う、後ろだけを覆う、耳の横でホバリングさせるなどである。
提案手法の性能を調査するために、実験では市販のイヤフォンに別のマイクを固定したプロトタイプデバイスを用意した。プロトタイプデバイスはBluetooth接続を介してイヤフォンから信号を再生し、有線接続のマイクより反響音を録音し、PCに記録する。信号の音量は音漏れを発生させるために通常より大きく設定(80dB)して、複数人の参加者に5つのハンドジェスチャー(上図)をしてもらった。
結果は、0から4.4kHzに帯域制限したデータによる認識精度が最も高く、個人差はあるものの92.7%(F値)の認識精度が得られた。手の形状ごとの特性の変化も大きかった。
今回の結果は、可聴域の周波数で80dbの大音量を流している際の数値であり、今後は可聴域外(例えば超音波帯域18kHzから22kHzなど)のテストや、音量を下げた場合の検証を考えているという。また今回は測定用の信号のみでテストしているため、音楽や通話などの通常イヤフォンで聞く音での評価をしたいとしている。
応用として、空間ありで耳全体を覆うハンドジェスチャーのデータを用いた、簡易的な個人識別モデルを作成した。結果は、参加者の個人識別率は94.5%で、個人認証システムへの応用も期待できることが分かった。
Source and Image Credits: 雨坂 宇宙, 渡邉 拓貴, 杉本 雅則, 志築 文太郎. 音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討. WISS 2022: 第30回インタラクティブシステムとソフトウェアに関するワークショップ https://www.wiss.org/WISS2022/
関連記事
- 他人のスマホとBluetooth接続するサイバー攻撃 権限変更で端末乗っ取り 中国と米国チームが発表
中国科学技術大学と米カンザス大学に所属する研究者らは、他人のBluetooth対応機器と接続し乗っ取るサイバー攻撃を提案した研究報告を発表した。 - 最大8m先からスマホで話す相手の声を盗聴できる攻撃 ミリ波の反射を利用
中国の浙江大学とHIC-ZJU、崑山杜克大学、米University of Colorado Denver、米SUNY Buffaloによる研究チームは、スマートフォンで話している相手の声を最大8m先から盗聴できる攻撃を提案した研究報告を発表した。 - 耳をふさがないのに音漏れしない不思議なイヤフォン NTT子会社が製品化 8250円から
NTTグループ企業のNTTソノリティは11月9日、耳元で音を閉じ込める「PSZ」技術を使った製品として、2つのオープンイヤー型イヤフォンを発表した。 - 他人のスマホ通話をミリ波で盗聴する技術 スマホ用イヤフォンの振動から音声解読
米The Pennsylvania State Universityの研究チームは、他人が会話中のスマートフォンのイヤフォンの振動を検出し、通話相手が何を話しているかを最大83%の精度で解読できることを実証した研究報告を発表した。 - 口パクで音声入力できるイヤフォン 口を動かした際の耳穴の変形から予測 米国チームが開発
米University at Buffalo, State University of New York、米ノースウェスタン大学、米ワシントン大学、米コロラド大学の研究チームは、口パク(無声発話)で音声入力できるイヤフォンを開発した。口を動かした際の耳穴の変化を取得して入力を区別する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.