空中で手を動かすだけでイヤフォン操作　“音漏れ”活用する新技術、慶應大などが開発

　空中で手を動かすだけでイヤフォンを操作する――慶應大学と筑波大学、公立はこだて未来大学は10月11日、そんな研究を発表した。イヤフォンの音漏れに着目し、機械学習によってイヤフォン付近でのジェスチャーを検出・分類できるようにしたという。

　デバイスに直接手を触れることなく、空中のジェスチャーによって操作する手法はこれまでも提案されてきた。しかしジェスチャーを認識するのにカメラや赤外線センサーを使うため、実装コストが高くなるなどの課題があったという。

　そこでこの研究では、イヤフォンの外部で発生する音漏れに着目。イヤフォンに搭載するスピーカーと集音マイクのみで空中のジェスチャーを認識できるようにした。

　具体的には、耳の横で行ったジェスチャーに反射した音を集音マイクで測定。救急車のサイレン音などで知られるドップラー効果が、ジェスチャーごとに異なることを利用した。それぞれを、周波数情報の時間変化を可視化する「スペクトログラム画像」に変換し、機械学習を使うことで、ジェスチャーの検出・分類を可能にしたという。

　実験では、研究で提案した27種類のうち7種類のジェスチャーについて、13人の参加者を対象に、4種類の利用環境下でジェスチャーの検出・分類性能を評価した。結果、ジェスチャー以外の動作を誤認識してしまう確率を1.8%に抑えつつ、ジェスチャーの種類を約80%で認識できたとしている。

　今後は、騒音の大きい環境などでの精度検証を行う他、認識システムの改良や市販デバイスのみでの実装を目指す。

　研究成果は、人とコンピュータの相互作用を研究するHCI分野の国際会議「UIST '24: The ACM Symposium on User Interface Software and Technology」に採択され、Best Paper Awardを受賞予定。

関連記事

• 

  イヤフォンの“音漏れ”を利用したハンドジェスチャー入力　筑波大と北海道大が開発

• 

  慶大、生成AI研究機関「慶應AIセンター」設立　KDDIやNECなど9社が参加　米カーネギーメロン大とも連携

• 

  「ポケモンスリープ」と食事管理で“ダイエット効果”は2倍に　大規模調査で明らかに

• 

  激しい運動をしても体重は増加する　そのワケは？　筑波大学などが実験で検証

• 

  PFN、AIで動画を複数の色レイヤーにリアルタイム分解する技術開発