「前歯を舌でタップ」「舌をかむ」 VRヘッドセットを“舌操作” 米Microsoftが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米ジョージア工科大学と米Microsoft Researchに所属する研究者らが発表した論文「TongueTap: Multimodal Tongue Gesture Recognition with Head-Worn Devices」は、VR/ARヘッドセットなどで、口を閉じたまま舌を使って操作するインタフェースに関する研究報告である。

ARヘッドセットで口を閉じたまま舌操作しているイメージ図

　頭部装着型デバイスにおける舌を使った操作は、ハンズフリーだけでなく、唇や顎を最小限に動かし、口を閉じたままで操作できる利点がある。外部から気付かれにくいため、公共の場でも使用しやすい。

　しかし、過去の舌ジェスチャーに関する研究を見ると、その多くが特別なハードウェアを必要としていた。舌を検出するセンサーは、頭部装着型デバイスに統合されているのが理想的である。

　この問題に取り組むため、この研究では市販のヘッドセットの内蔵センサーだけを利用して、舌のジェスチャーを実行する手法「TongueTap」を提案する。

　今回の手法では、ヘッドトラッキングやアイトラッキング、口へのカメラ、EEG（脳波）センサーやEMG（筋電図）センサー、光を用いて血流の変化を測定する技術「PPG」、物体の動きや向きを測定する慣性計測ユニット（IMU）などを使用して、舌のジェスチャー操作を検出する。

　しかし、現段階ではこれらのセンサーを全て搭載したVR/ARヘッドセットは存在しない。そのため、初期テストとしてその多くを搭載しているヘッドセット「HP Reverb G2 Omnicept Edition」とEEG用のヘッドバンド「Muse 2」を組み合わせてTongueTapを構築した。

VRヘッドセットとEEG用ヘッドバンドを組みわせたセットアップ

　舌のジェスチャーには、第三者が気付かないように、口を閉じた状態で行えるものを選んだ。具体的には、下記の通り。

• シングルタップ：舌で上の前歯を1回たたく。
• ダブルタップ：舌で上の前歯を2回連続してたたく。
• シェイク：舌を左右に繰り返し振る。
• 左頬タップ：舌で左の頬をたたく。
• 右頬タップ：舌で右の頬をたたく。
• 口底タッチ：舌で口の底、下の歯の後ろを触る。
• カールバック：舌を上に巻き込み、口の天井の後ろに向ける。
• バイト：前歯で優しく舌をかむ。

口を閉じたまま操作する舌ジェスチャー

　これらのジェスチャーは機械学習モデルを用いて分類される。実際のテスト結果によれば、口を閉じた状態の舌のジェスチャー8つを94％の精度で識別できた。また、IMUだけを使用しても8つのジェスチャーは80％の精度で、4つのジェスチャーは92％の精度で識別可能であると判明した。

　16人の参加者から4万8000回のジェスチャーデータを収集し、TongueTapが個人に依存しないジェスチャー認識を実現するためのデータベースを構築した。これらの結果を基に、新しいハードウェアを追加することなく、VR/ARヘッドセットやイヤラブルデバイスで舌のジェスチャー操作が有効であることを示唆した。

Source and Image Credits: Tan Gemicioglu, R. Michael Winters, Yu-Te Wang, Thomas M. Gable, and Ivan J. Tashev. 2023. TongueTap: Multimodal Tongue Gesture Recognition with Head-Worn Devices. In Proceedings of the 25th International Conference on Multimodal Interaction（ICMI ’23）. Association for Computing Machinery, New York, NY, USA, 564-573. https://doi.org/10.1145/3577190.3614120