Innovative Tech(AI+)
「Apple Vision Pro」のキー入力を盗む攻撃 ビデオ会議やライブ配信中の“アバターの視線”からAIで機密データ復元
Innovative Tech(AI+):
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。
X: @shiropen2
米フロリダ大学などに所属する研究者らが発表した論文「GAZEploit: Remote Keystroke Inference Attack by Gaze Estimation from Avatar Views in VR/MR Devices」は、Apple Vision Proなどの視線追跡技術を搭載したVR/MR機器に対する新たな攻撃手法を提案した研究報告である。「GAZEploit」と呼ぶこの攻撃は、アバターの視線情報を利用して、リモートでキーストロークを推測するものである。
GAZEploitの特徴は、ユーザーのアバター映像から視線情報を抽出し、それを分析することでキーボード入力を推測する点にある。この攻撃は、ビデオ会議やライブストリーミング、VRソーシャルネットワークなど、ユーザーがアバターを共有する使用シーンで実行可能であり、特別な機器や物理的なアクセスを必要としない。
攻撃手法は、アバターの録画から目のアスペクト比と視線推定という2つの生体認証情報を抽出し、機械学習を用いてタイピングセッションを他のVR活動と区別する。その後、視線の方向をバーチャルキーボード上にマッピングして、入力したキーを推測する。
タイピングセッションの識別には、リカレントニューラルネットワーク(RNN)を使用し、30人の参加者から収集したデータセットで高い精度を達成。個々のキーストロークの識別では、視線の安定性を計算するアルゴリズムを開発し、サッカードと固視を分類して高い精度で入力を特定した。さらに、視線ポイントを特定のキーに正確にマッピングする手法も開発。これにより、バーチャルキーボードの位置とサイズを決定できる。
研究チームは30人の参加者を対象に実験を行い、さまざまな入力シナリオにおいてGAZEploitの有効性を検証した。その結果、メッセージ入力では92.1%、パスワード入力では77.0%、URLやメールアドレス入力では86.1%、暗証番号(PIN)入力では73.0%の精度で文字を推測することに成功した。
この脆弱性に対処するため、研究チームはいくつかの対策を提案している。ランダム化されたキーボードレイアウトの使用、アバター共有時の視覚的な警告表示、機密情報入力時のアバター機能の無効化などを挙げている。
Source and Image Credits: Wang, Hanqiu, et al. “GAZEploit: Remote Keystroke Inference Attack by Gaze Estimation from Avatar Views in VR/MR Devices.” arXiv preprint arXiv:2409.08122(2024).
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech(AI+)
2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
京大がAI依存チェックリスト公開 「当てはまるものあれば、しばらくAI触らないで」
-
2
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
3
さよなら「Claude Code」 人気AIに愛想を尽かしたエンジニアの意外な移行先:906th Lap
-
4
Antigravityを他社AIから操作すると「垢BAN」? 注意点をGoogle Cloud日本法人に聞いた
-
5
「Muse」専用メアド、無料で作成可能に AIが送受信を代理
-
6
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
7
Mac版「Gemini」にユーザーの代わりにアプリを操作する「computer use」機能追加 まず米国で
-
8
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
9
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
10
「おもてなし以外」はAIで――多忙化する美容部員、資生堂はGeminiでどう変えたか
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR