電話やビデオ会議中の“タイピング音”から入力内容を盗む攻撃 93％以上の識別精度：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　イングランドのダラム大学などに所属する研究者らが発表した論文「A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards」は、キーボードに対する深層学習ベースの音響サイドチャネル攻撃を提案した研究報告である。電話中やZoom通話中に収録したキーストローク音から高い精度でタイピング内容を分類する。

キー入力を記録するためのデスクセットアップ

　キーボードに対する効果的な攻撃を行うために、深層学習に基づく分類器を導入する。このモデルは自己注意機構（Self-Attention）を特徴とし、音響サイドチャネル攻撃としては初めての採用となる。

　実験では、ラップトップのキー入力を分類するために、36個のキー（0-9、a-z）が使用され、それぞれ圧力と指を変えながら25回連続で押された。音の読み取りには、スマートフォンの内蔵マイクとビデオ会議ソフト「Zoom」を使った。

　スマートフォン内蔵マイクを用いたモデルでは、近くのスマートフォンで録音されたキーストロークで学習させた場合、分類器は95％の精度を達成し、これまでの最高精度を示した。

　また、Zoomを用いて記録されたキーストロークを学習させたところ、93％の精度を達成し、同メディアの最高精度を記録した。これにより、市販の機器とアルゴリズムによるサイドチャネル攻撃の実用性を証明した。

キーストロークの分離プロセス

電話の収録音（左）と、Zoomの録音（右）の波形と対応するメルスペクトログラム

Source and Image Credits: Harrison, J., Toreini, E., & Mehrnezhad, M.（2023, July）. A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards. In 2023 IEEE European Symposium on Security and Privacy Workshops（EuroS&PW）（pp. 270-280）. IEEE.