バーチャルキーボードを打ち込む際の“頭の動き”から入力単語を特定する攻撃：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　米カリフォルニア大学リバーサイド校に所属する研究者らが発表した論文「Going through the motions: AR/VR keylogging from user head motions」は、VR／AR内のバーチャルキーボードを操作する際のユーザーの頭部の動きからタイピングしている単語や文字を予測する攻撃を提案した研究報告である。

攻撃シナリオの一例。バックグラウンドアプリ「Beat Saber」上に、Facebook Messengerを表示してタイピングしている

　今回の方法は、頭部の移動でキーの位置決めを行うタイピング方法ではなく、指だけでタイピングする際の頭の動作データのみで特定する。バーチャルキーボードを入力する際にユーザーの頭が微妙に動く現象を利用している。

　このような頭の動きに関するモーションデータは、悪意のあるバックグラウンドアプリが特別な権限を必要とせずに自由に利用できるため、実現可能な攻撃手段といえる。頭部のトラッキングデータを拒否するとVRの没入感も低下してしまうため、容易に防御できない攻撃でもある。

　VR／AR内に表示されるバーチャルキーボードを使って個人情報（パスワードやPINコードなど）や企業の機密情報を入力する場合があるため、ユーザーにとって危険といえる。

TyPoseのパイプライン

　「TyPose」と呼ぶ今回の攻撃は、VRヘッドセットのジャイロセンサーと加速度センサーの測定値を抽出し、機械学習により運動信号を時間的に分割。単語と文字の境界を決定するとともに、単語と文字そのものについて機械学習モデルで予測を行う。

　TyPoseは、主要な2つのモジュールで構成する。1つ目のモジュールでは、単語や文字が入力されているかを把握するため、文章を単語または文字に分割するタスクを行う。文章を単語単位に分割する場合はスペースキーの押下が境界線となり、文章を文字単位に分割する場合はスペースを含むあらゆる文字の押下が境界線となる。

　2つ目のモジュールでは、これらの分割したセグメントを解析して、入力した単語が何かを推定するタスクを行う。

参加者がタイピングしている際の頭部の動きをトラッキングしている実験時の様子

　実験では、21人の参加者からVR内のタイピング動作を収集し、その精度を評価した。その結果、TyPoseはセグメントの検出と単語の特定を高い精度できた。例えば、単語の推定ではトップ5の分類精度が82％であることが分かった。特定の参加者に合わせて攻撃をカスタマイズした場合は、単語分類精度92％を達成した。

　また、キーボードの寸法やキーボードの位置が精度に関係しなかっただけでなく、キーボードがユーザーの頭の向きに合わせて移動しても、TyPoseは良好な結果を示した。

Source and Image Credits: Carter Slocum, Yicheng Zhang, Nael Abu-Ghazaleh and Jiasi Chen. Going through the motions: AR/VR keylogging from user head motions