バーチャルキーボードを打ち込む際の“頭の動き”から入力単語を特定する攻撃:Innovative Tech
米カリフォルニア大学リバーサイド校に所属する研究者らは、VR/AR内のバーチャルキーボードを操作する際のユーザーの頭部の動きからタイピングしている単語や文字を予測する攻撃を提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: @shiropen2
米カリフォルニア大学リバーサイド校に所属する研究者らが発表した論文「Going through the motions: AR/VR keylogging from user head motions」は、VR/AR内のバーチャルキーボードを操作する際のユーザーの頭部の動きからタイピングしている単語や文字を予測する攻撃を提案した研究報告である。
今回の方法は、頭部の移動でキーの位置決めを行うタイピング方法ではなく、指だけでタイピングする際の頭の動作データのみで特定する。バーチャルキーボードを入力する際にユーザーの頭が微妙に動く現象を利用している。
このような頭の動きに関するモーションデータは、悪意のあるバックグラウンドアプリが特別な権限を必要とせずに自由に利用できるため、実現可能な攻撃手段といえる。頭部のトラッキングデータを拒否するとVRの没入感も低下してしまうため、容易に防御できない攻撃でもある。
VR/AR内に表示されるバーチャルキーボードを使って個人情報(パスワードやPINコードなど)や企業の機密情報を入力する場合があるため、ユーザーにとって危険といえる。
「TyPose」と呼ぶ今回の攻撃は、VRヘッドセットのジャイロセンサーと加速度センサーの測定値を抽出し、機械学習により運動信号を時間的に分割。単語と文字の境界を決定するとともに、単語と文字そのものについて機械学習モデルで予測を行う。
TyPoseは、主要な2つのモジュールで構成する。1つ目のモジュールでは、単語や文字が入力されているかを把握するため、文章を単語または文字に分割するタスクを行う。文章を単語単位に分割する場合はスペースキーの押下が境界線となり、文章を文字単位に分割する場合はスペースを含むあらゆる文字の押下が境界線となる。
2つ目のモジュールでは、これらの分割したセグメントを解析して、入力した単語が何かを推定するタスクを行う。
実験では、21人の参加者からVR内のタイピング動作を収集し、その精度を評価した。その結果、TyPoseはセグメントの検出と単語の特定を高い精度できた。例えば、単語の推定ではトップ5の分類精度が82%であることが分かった。特定の参加者に合わせて攻撃をカスタマイズした場合は、単語分類精度92%を達成した。
また、キーボードの寸法やキーボードの位置が精度に関係しなかっただけでなく、キーボードがユーザーの頭の向きに合わせて移動しても、TyPoseは良好な結果を示した。
Source and Image Credits: Carter Slocum, Yicheng Zhang, Nael Abu-Ghazaleh and Jiasi Chen. Going through the motions: AR/VR keylogging from user head motions
関連記事
- 膨らんだアプリアイコンを「むぎゅっ」と押せるディスプレイ 外部ポンプ不要でスマホなどに搭載可能
米カーネギーメロン大学に所属する研究者らは、流体で形状変化する薄型触覚ディスプレイを提案した研究報告を発表した。スマートフォンのアプリやキーボードのキーなどを局所的に盛り上がらせて、ユーザーに物理ボタンの触覚を提供する。 - つかんで打鍵する変態キーボード「GrabShell」登場 「寝ながら開発打ち合わせができる」
dotBravoは24日、変形させると寝ながらでもタイプ(打鍵)できる全く新しい形状のキーボード「GrabShell」を発表した。エンジニアやeスポーツプレイヤーに向けて販売する。 - 「見えないキーボードで文字入力」 腕にスプレーを吹きかけ、皮膚センサーで認識
米スタンフォード大学、韓国のKAIST、ソウル大学校、建国大学校に所属する研究者らは、手の甲や腕に直接吹きかけたスプレーで皮膚の伸縮を電気的に検知し、手の動きを機械学習モデルで認識する手法を提案した研究報告を発表した。 - スマホの充電器から“人間のような音声”を発声、音声アシスタントにこっそり入力するサイバー攻撃
中国の上海交通大学と浙江大学の研究者らは、遠隔から操作してスマートフォンの充電器などから人間のような音声を発声させ、音声アシスタントを攻撃する研究報告を発表した。 - 工場出荷前に数百万台のスマホがすでにマルウェアに感染 Trend Microが発表 安価なAndroid端末が対象
Trend Microの研究者らは、5月に開催したセキュリティイベントで「舞台裏:犯罪企業が数百万台のモバイル機器を事前に感染させる方法」という講演を行った。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.