イヤフォンの“音漏れ”を利用したハンドジェスチャー入力 筑波大と北海道大が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　筑波大学と北海道大学に所属する研究者らが発表した論文「音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討」は、イヤフォンの音漏れを利用して耳を覆いかぶすように手を添えてハンドジェスチャー入力を行う手法を提案した研究報告である。イヤフォンからの音漏れが添えた手に反響し、その反響音のパターンを機械学習モデルで分類することで手の形状を識別し、入力に利用する。

イヤフォンを覆うように手をかざし、イヤフォンからの音漏れを利用してジェスチャー入力を行う

　イヤフォンの多くは、スマートフォンなどのデバイスと接続して制御するのが一般的である。感圧センサーや静電容量センサー、物理ボタンなどをイヤフォン本体に整備してイヤフォンのみで操作できるデバイスもあるが、デザインに制約が生じたり手袋をはめての操作が出来なかったりで課題も多い。

　これらの課題に対して今回の研究では、イヤフォンが音を再生する時に発生する外部へと漏れる音響信号（音漏れ信号）に着目し、装着者の手の形状をジェスチャーとして認識する手法を提案する。

　具体的には、イヤフォンから周波数が遷移するチャープ信号を再生することで発生する音漏れ信号を、イヤフォン外側に搭載したマイクにて録音する。この際に、ユーザーがデバイスを手で覆うことにより音漏れ信号は手と耳介で形成した空間内で反響する。この反響音の変化を取得し、パターンを機械学習モデルを用いて分類する。

　これによって手の覆い方で、さまざまな入力が行える。中に空間を作って耳全体を覆う、中の空間なしで耳全体を覆う、手前の耳だけを覆う、後ろだけを覆う、耳の横でホバリングさせるなどである。

実験時に行った5つのハンドジェスチャー

　提案手法の性能を調査するために、実験では市販のイヤフォンに別のマイクを固定したプロトタイプデバイスを用意した。プロトタイプデバイスはBluetooth接続を介してイヤフォンから信号を再生し、有線接続のマイクより反響音を録音し、PCに記録する。信号の音量は音漏れを発生させるために通常より大きく設定（80dB）して、複数人の参加者に5つのハンドジェスチャー（上図）をしてもらった。

実験の概要

　結果は、0から4.4kHzに帯域制限したデータによる認識精度が最も高く、個人差はあるものの92.7％（F値）の認識精度が得られた。手の形状ごとの特性の変化も大きかった。

　今回の結果は、可聴域の周波数で80dbの大音量を流している際の数値であり、今後は可聴域外（例えば超音波帯域18kHzから22kHzなど）のテストや、音量を下げた場合の検証を考えているという。また今回は測定用の信号のみでテストしているため、音楽や通話などの通常イヤフォンで聞く音での評価をしたいとしている。

　応用として、空間ありで耳全体を覆うハンドジェスチャーのデータを用いた、簡易的な個人識別モデルを作成した。結果は、参加者の個人識別率は94.5％で、個人認証システムへの応用も期待できることが分かった。

Source and Image Credits: 雨坂 宇宙, 渡邉 拓貴, 杉本 雅則, 志築 文太郎. 音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討. WISS 2022: 第30回インタラクティブシステムとソフトウェアに関するワークショップ https://www.wiss.org/WISS2022/