Innovative Tech

隣の部屋をミリ波で盗聴　防音の壁でも喉元の皮膚振動を捉え音声復元

公開 2022年07月25日 08時02分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国の浙江大学と米State University of New York at Buffaloによる研究チームが開発した「Wavesdropper: Through-wall Word Detection of Human Speech via Commercial mmWave Devices」は、ミリ波（mmWave）を用い、防音環境で守られている部屋内を外部から盗聴するシステムだ。被害者が発話した際の喉元付近の皮膚振動をミリ波で捉え、音声（単語）を復元する。

システムを用いた盗聴のイメージ図

システムを用いた盗聴実験。上段がカフェで下段がオフィス

　壁に防音材を配置すれば、音波の伝搬を利用した攻撃などからは守れるが、音源（例えば、人間の話者）からの直接漏えいを保証することはできない。それを踏まえると、防音環境に守られていても、発声源（声帯）が音声情報を漏らす可能性はあるといえる。

　今回は市販のmmWaveデバイスを用い、室外からミリ波で室内の音声を盗聴するシステム「Wavesdropper」を提案する。攻撃者は室外で携帯可能なmmWaveプローブを用いて、壁の向こう側にいる被害者の位置を特定し、発話している被害者の喉元付近の皮膚振動を壁越しに捉えて発話内容を復元する。

　Wavesdropperは、時空間解析を行うことで、話者と背景を区別して背景エコーの影響を排除する。その後、CEEMDに基づくクラッターサプレッションを適用し、室内の動的干渉（例：話者周辺の移動物体）を除去する。

　さらに、ハイパスフィルタリングとウエーブレットベースの分析により、話者のモーションアーチファクト（体の揺れやジェスチャーなど）の影響を取り除き、音声情報を含むクリーンな音声振動、すなわちmmVocalデータを抽出する。

　最終的に、mmVocalデータを自動的に単一単語に分割し、ResNetベースのニューラルネットワーク（WavesdropNet）に送り込み、理解可能な音声コンテンツとして復元する。

Wavesdropperのパイプライン

　23人の参加者を対象とした実験では、壁越しのシナリオにおいて57単語の認識で91.3％の精度を達成した。また環境変化や防音材の違いなど、複雑な条件下でも頑健に動作することが確認できた。

Source and Image Credits: Chao Wang, Feng Lin, Zhongjie Ba, Fan Zhang, Wenyao Xu, and Kui Ren. 2022. Wavesdropper: Through-wall Word Detection of Human Speech via Commercial mmWave Devices. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 6, 2, Article 77 (July 2022), 26 pages. https://doi.org/10.1145/3534592

印刷する