鼻呼吸でスマホを操作 呼吸時の音で入力内容を区別するメガネ型デバイス、立命館大らが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　立命館大学村尾研究室と科学技術振興機構「さきがけ」の研究チームが開発した「メガネ型デバイスを用いた鼻呼吸ジェスチャによるハンズフリー入力手法の検討」は、鼻呼吸でスマートフォンなどを操作するメガネ型デバイスだ。

　呼吸時に自然発生する呼吸音の振動を取得し、その呼吸情報の音量から呼吸パターンを認識。通常時の呼吸と入力時の呼吸を区別し、8種類のジェスチャー入力に成功した。

システムの概要とプロトタイプデバイス

　この研究では、メガネの鼻当て部分に設置した圧電素子を使い、鼻呼吸ジェスチャーを認識する手法を提案。具体的には、鼻呼吸によって発生する振動から呼吸パターンを識別し、パターンに対応したデバイスの操作を行う。

　鼻呼吸をした際に発生する自然振動を音データとして、左右の鼻表面部分にマイクとして設置した小型の圧電素子から取得。取得した音データを波形から解析し、呼吸の音量や長さ、回数などから呼吸パターンを識別する。

　鼻呼吸の吸い始め （吐き始め）に音量が上がるため、波形の音量も上がる。吸い終わり（吐き終わり）に音量が下がるため、波形の音量も下がる。この流れを一呼吸とする。

　通常時の呼吸とジェスチャー時の呼吸を区別しなければならない。取得した音データは音量の波形として表示するため、その最大値（ピーク値）を参照する。しきい値を設定し、最大値がしきい値を超えていればジェスチャー時の呼吸、しきい値を超えていなければ通常時の呼吸とする。

最大値がしきい値を超えていればジェスチャー時の呼吸と認識する

　

　適切なしきい値は人ぞれぞれ違うため、ユーザー毎に事前に通常呼吸データとジェスチャー用呼吸データの両方を取得し、その両方を分析し、しきい値を設定した。

　鼻呼吸から3種類のアプローチでジェスチャー入力方法を分類する。1つ目は呼吸数。同一時間内の呼吸の回数で区別する。2つ目は呼吸と呼吸の時間間隔の違い。時間間隔が短いジェスチャーと、時間間隔が長いジェスチャーを区別する。3つ目は連続する呼吸の強弱の違い。強い呼吸の次に弱い呼吸を行う呼吸ジェスチャーと、弱い呼吸の次に強い呼吸を行う呼吸ジェスチャー、強弱差がない呼吸ジェスチャーの3つのパターンを区別する。

ジェスチャー時の呼吸波形

　実験では、この3つの方法を組み合わせた8種類の呼吸ジェスチャーを認識できるか検証した。結果、通常時の呼吸とジェスチャー時の呼吸との区別が行え、平均82％の分類精度で8種類の呼吸ジェスチャーの認識に成功した。個人が得意なジェスチャだけに絞ると90％以上の認識が可能になる。

8種類の呼吸ジェスチャー

　今回はシステムをメガネに搭載したが、マスクやVRヘッドマウントディスプレイ、ARグラスなどの鼻当てを備えたあらゆるウェアラブルデバイスに広く適応できるという。

　動画はこちら。

出典および画像クレジット: 小川諒馬, 双見京介, 村尾和哉, メガネ型デバイスを用いた鼻呼吸ジェスチャによるハンズフリー入力手法の検討, 研究報告ユビキタスコンピューティングシステム (UBI), 2021(23), pp. 1--8 (Sep. 2021). http://id.nii.ac.jp/1001/00212388/

R. Ogawa, K. Futami, K. Murao, NasalBreathInput: A Hands-Free Input Method by Nasal Breath Gestures using a Glasses Type Device, Proc. of the 19th International Conference on Advances in Mobile Computing and Multimedia (MoMM 2021), pp. 626-630 (Nov. 2021). DOI: https://doi.org/10.1145/3487664.3487750