Innovative Tech

アバターの“指の動き”からパスワードを盗む攻撃　VR内で働く人のキーボード操作に着目

公開 2023年11月20日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米シカゴ大学に所属する研究者らが発表した論文「Can Virtual Reality Protect Users from Keystroke Inference Attacks？」は、同じVR空間で作業をしているアバターの指の動きから入力内容を復元する攻撃を提案した研究報告である。

　この研究は、米Metaが提供するバーチャルオフィスプラットフォーム「Meta Horizon Workrooms」におけるキーストローク推測攻撃の可能性を調査している。攻撃では、同じ空間にいる1人のVRユーザーが、別のユーザーのアバターの手の動きを分析し、タイプされた内容を推測するものである。

VR内において、女性アバターAが男性アバターUのタイピングする指の情報から入力内容を盗もうとしている様子

　タイピングは重要な情報の入力手段であるため、この攻撃が成功すると、機密情報の漏えいやプライバシーの侵害、財務上の損失など、深刻な影響を及ぼす可能性がある。物理的な攻撃と比較して、VR上でのキーストローク推測攻撃はより強力であり、攻撃者は物理的な制約なく多くの遠隔の被害者を狙うことができる。

　この研究では、VR空間におけるキーストローク推測攻撃のためのコンポーネント化された自己教師あり学習パイプラインを開発している。訓練されたモデルは、ターゲットのアバターが表示する手の動きのノイズの多いデジタル表現を収集し、キーボードのレイアウトを知らなくても、それを使用してタイプされたデータを再構築する。

　モデルは、キーストロークのイベント検出、使用された指の特定、キーの認識の3つの段階に分けられている。まず、簡素化されたテレメトリーデータに統計分析を行い、初期推測結果を得る。次に、これらの結果を使用して訓練データを作成し、分類器であるトランスフォーマーを訓練する。これにより、キーストロークとテレメトリーデータの関係を学ぶ。

　最後に、この分類器の出力を最終コンポーネントに供給する。この方法により、ノイズの多いテレメトリーデータから重要なキーストローク情報を段階的に抽出し、エラーを最小限に抑える。

自己教師あり学習パイプライン

攻撃者が収集するテレメトリーデータによって定義される3つの攻撃シナリオ

　ユーザースタディーを実施し、さまざまなVRシナリオと設定の下で提案された攻撃を評価する。これにはアバターの距離と配置、キーボードデバイス、タイピング内容が含まれる。15人中13人の参加者に対して、攻撃はタイプされたキーの86～98％を正確に認識し、回復されたテキストは元の内容の意味の50～98％を保持していたことを示した。

Source and Image Credits: Yang, Zhuolin, et al. “Can Virtual Reality Protect Users from Keystroke Inference Attacks？.” arXiv preprint arXiv:2310.16191（2023）.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る