「Apple Vision Pro」のキー入力を盗む攻撃 ビデオ会議やライブ配信中の“アバターの視線”からAIで機密データ復元：Innovative Tech（AI+）

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　米フロリダ大学などに所属する研究者らが発表した論文「GAZEploit: Remote Keystroke Inference Attack by Gaze Estimation from Avatar Views in VR/MR Devices」は、Apple Vision Proなどの視線追跡技術を搭載したVR／MR機器に対する新たな攻撃手法を提案した研究報告である。「GAZEploit」と呼ぶこの攻撃は、アバターの視線情報を利用して、リモートでキーストロークを推測するものである。

GAZEploit攻撃のシナリオ

　GAZEploitの特徴は、ユーザーのアバター映像から視線情報を抽出し、それを分析することでキーボード入力を推測する点にある。この攻撃は、ビデオ会議やライブストリーミング、VRソーシャルネットワークなど、ユーザーがアバターを共有する使用シーンで実行可能であり、特別な機器や物理的なアクセスを必要としない。

　攻撃手法は、アバターの録画から目のアスペクト比と視線推定という2つの生体認証情報を抽出し、機械学習を用いてタイピングセッションを他のVR活動と区別する。その後、視線の方向をバーチャルキーボード上にマッピングして、入力したキーを推測する。

　タイピングセッションの識別には、リカレントニューラルネットワーク（RNN）を使用し、30人の参加者から収集したデータセットで高い精度を達成。個々のキーストロークの識別では、視線の安定性を計算するアルゴリズムを開発し、サッカードと固視を分類して高い精度で入力を特定した。さらに、視線ポイントを特定のキーに正確にマッピングする手法も開発。これにより、バーチャルキーボードの位置とサイズを決定できる。

GAZEploit攻撃は、アバター映像から目のアスペクト比と視線推定を抽出し、機械学習でタイピング行動を識別した後、視線方向を仮想キーボードにマッピングしてキーストロークを推測

バーチャルキーボードの配置、予測できたキーストローク、実際の入力を比較し、攻撃の精度を視覚的に表示

　研究チームは30人の参加者を対象に実験を行い、さまざまな入力シナリオにおいてGAZEploitの有効性を検証した。その結果、メッセージ入力では92.1％、パスワード入力では77.0％、URLやメールアドレス入力では86.1％、暗証番号（PIN）入力では73.0％の精度で文字を推測することに成功した。

　この脆弱性に対処するため、研究チームはいくつかの対策を提案している。ランダム化されたキーボードレイアウトの使用、アバター共有時の視覚的な警告表示、機密情報入力時のアバター機能の無効化などを挙げている。

Source and Image Credits: Wang, Hanqiu, et al. “GAZEploit: Remote Keystroke Inference Attack by Gaze Estimation from Avatar Views in VR/MR Devices.” arXiv preprint arXiv:2409.08122（2024）.