他人のスマホ通話をミリ波で盗聴する技術 スマホ用イヤフォンの振動から音声解読：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米The Pennsylvania State Universityの研究チームが発表した「mmSpy: Spying Phone Calls using mmWave Radars」は、市販の自動車用レーダーデバイスと新しい処理方法を用いて、他人が会話中のスマートフォンのイヤフォンの振動を検出し、通話相手が何を話しているかを最大83％の精度で解読できることを実証した研究報告だ。

　マイクで漏れ出た声を盗聴するのではなく、音声を振動源から直接検出するため、周囲の雑音に影響されないのが特徴だ。

レーダー装置から約1mの距離でスマートフォンを持ち通話している参加者を盗聴している様子

　ミリ波（mmWave）通信技術は、VR、AR、自律走行におけるvehicle-to-vehicle（V2V）やvehicle-to-infrastructure（V2I）ネットワーキング、産業IoTにおけるマシンタイプ通信など、その利用が広がっている。

　今回は、悪意のある敵が受動的に通話を盗み聞きすることを可能にする手法にミリ波を利用する。研究では、市販のmmWaveレーダーデバイスを用いて、他人が話す通話相手の音声を盗聴するシステム「mmSpy」を提案する。

　攻撃者は、被害者のスマートフォンに向かって離れた場所からmmWave信号を送信し、反射を測定する。反射の違いを分析することで、イヤフォンの振動を検出し、音声の復元や音声の分類につなげる。捉えた反射波は、ユーザーの耳に面するイヤフォン側と反対側のスマートフォンの背面から来るものと仮定する。

　スマートフォンのイヤフォンは発話によって振動（7μmオーダーの微小な振動）し、その振動がスマートフォン本体に浸透して行く。この伝わった振動（mmWave信号の位相の変化）をレーダーデバイスを使って感知し、回線の向こう側にいる人が言ったことを再構築する。

　取得したレーダーデバイスのデータは、MATLABとPythonモジュールによって前処理され、データからハードウェア関連のノイズやアーティファクトノイズを除去する。その後、音声の分類や音声の再構成を行うための訓練した機械学習モジュールにデータを供給する。

mmSpyのアーキテクチャ

　研究者らはGoogle Pixel 4aとSamsung Galaxy S20の両方でmmSpyをテストした。結果は、レーダーが約30cm離れたところから振動を感知した場合、処理した音声は83％の精度で声の復元が行えた。レーダーデバイスがスマートフォンから遠く離れるほど精度は低下し、約1.8mの距離では43％の精度にまで低下した。

mmSpyの実験セットアップ

　mmSpyは盗聴だけにとどまらず、音声を再構築した後、必要に応じてキーワードのフィルタリング、強調、分類が行えるようになるという。

Source and Image Credits: S. Basak and M. Gowda, "mmSpy: Spying Phone Calls using mmWave Radars," 2022 IEEE Symposium on Security and Privacy (SP), 2022, pp. 1211-1228, doi: 10.1109/SP46214.2022.9833568.