空中で手を動かすだけでイヤフォン操作 “音漏れ”活用する新技術、慶應大などが開発

[ITmedia]

　空中で手を動かすだけでイヤフォンを操作する――慶應大学と筑波大学、公立はこだて未来大学は10月11日、そんな研究を発表した。イヤフォンの音漏れに着目し、機械学習によってイヤフォン付近でのジェスチャーを検出・分類できるようにしたという。

慶應大学などが空中で手を動かすだけでイヤフォンを操作する研究を発表

　デバイスに直接手を触れることなく、空中のジェスチャーによって操作する手法はこれまでも提案されてきた。しかしジェスチャーを認識するのにカメラや赤外線センサーを使うため、実装コストが高くなるなどの課題があったという。

　そこでこの研究では、イヤフォンの外部で発生する音漏れに着目。イヤフォンに搭載するスピーカーと集音マイクのみで空中のジェスチャーを認識できるようにした。

　具体的には、耳の横で行ったジェスチャーに反射した音を集音マイクで測定。救急車のサイレン音などで知られるドップラー効果が、ジェスチャーごとに異なることを利用した。それぞれを、周波数情報の時間変化を可視化する「スペクトログラム画像」に変換し、機械学習を使うことで、ジェスチャーの検出・分類を可能にしたという。

研究で提案した27種類のジェスチャー

　実験では、研究で提案した27種類のうち7種類のジェスチャーについて、13人の参加者を対象に、4種類の利用環境下でジェスチャーの検出・分類性能を評価した。結果、ジェスチャー以外の動作を誤認識してしまう確率を1.8%に抑えつつ、ジェスチャーの種類を約80%で認識できたとしている。

実験に使った7種類のジェスチャーとスペクトログラム画像

　今後は、騒音の大きい環境などでの精度検証を行う他、認識システムの改良や市販デバイスのみでの実装を目指す。

　研究成果は、人とコンピュータの相互作用を研究するHCI分野の国際会議「UIST '24: The ACM Symposium on User Interface Software and Technology」に採択され、Best Paper Awardを受賞予定。