Innovative Tech

電話やビデオ会議中の“タイピング音”から入力内容を盗む攻撃　93％以上の識別精度

公開 2023年08月10日 10時04分

更新 2023年08月10日 10時33分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　イングランドのダラム大学などに所属する研究者らが発表した論文「A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards」は、キーボードに対する深層学習ベースの音響サイドチャネル攻撃を提案した研究報告である。電話中やZoom通話中に収録したキーストローク音から高い精度でタイピング内容を分類する。

キー入力を記録するためのデスクセットアップ

　キーボードに対する効果的な攻撃を行うために、深層学習に基づく分類器を導入する。このモデルは自己注意機構（Self-Attention）を特徴とし、音響サイドチャネル攻撃としては初めての採用となる。

　実験では、ラップトップのキー入力を分類するために、36個のキー（0-9、a-z）が使用され、それぞれ圧力と指を変えながら25回連続で押された。音の読み取りには、スマートフォンの内蔵マイクとビデオ会議ソフト「Zoom」を使った。

　スマートフォン内蔵マイクを用いたモデルでは、近くのスマートフォンで録音されたキーストロークで学習させた場合、分類器は95％の精度を達成し、これまでの最高精度を示した。

　また、Zoomを用いて記録されたキーストロークを学習させたところ、93％の精度を達成し、同メディアの最高精度を記録した。これにより、市販の機器とアルゴリズムによるサイドチャネル攻撃の実用性を証明した。

キーストロークの分離プロセス

電話の収録音（左）と、Zoomの録音（右）の波形と対応するメルスペクトログラム

Source and Image Credits: Harrison, J., Toreini, E., & Mehrnezhad, M.（2023, July）. A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards. In 2023 IEEE European Symposium on Security and Privacy Workshops（EuroS&PW）（pp. 270-280）. IEEE.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る