Innovative Tech

スマホの“カメラ部品の揺れ”から周囲の音を盗聴する攻撃　マイクは不要　米国の研究者らが実証

公開 2023年05月22日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　米ミシガン大学、米フロリダ大学、米ノースイースタン大学に所属する研究者らが発表した論文「Side Eye: Characterizing the Limits of POV Acoustic Eavesdropping from Smartphone Cameras with Rolling Shutters and Movable Lenses」は、音波によって揺れるスマートフォンのカメラ部品から音声を復元する研究報告である。

　スマートフォンのマイクにアクセスできない場合でも、スマートフォンアプリを使用して音声を盗聴できる方法となる。

スピーカーからの音を机上にあるスマートフォンで盗聴しているイメージ図。マイクでの録音機能は使用していない

　膜を前後に素早く揺らすと、空気中に音波が発生し、それが音として聞こえる。音波は、1秒間に数千回という非常に速いスピードで物体を前後に揺らすことが分かっている。

　この音波は空気中を伝搬し、障害物に接触することで微小な揺れを引き起こす。そのため、スマートフォンにも影響を及ぼし、今回はこの音波をスマートフォンのカメラで検出し、その中から音声信号を抽出することで盗聴する手法を提案する。

　具体的には、音波がカメラのコンポーネントに与える影響によってスマートフォンカメラのビデオストリームの変化を観察する。

　前提条件として、スマートフォンのマイクはOFFにしておいていいが、カメラをONにしておく必要がある。カメラはどこに向けておいてもよく、何もない天井や床を捉えていても機能する。

　音波によってカメラの小さな機械部品が揺れ、それがカメラの映像に小さな変化として現れる。特に、カメラのCMOSセンサーが1フレームずつ撮影している間に音波によって微小に揺れたり、カメラの可動レンズ（手ブレ補正やオートフォーカス機能をサポート）のスプリングやワイヤが揺れたりすることがある。

光学式手ブレ補正（OIS）やオートフォーカス（AF）を搭載したスマートフォンのカメラに広く存在する可動レンズ構造

　そして、映像にアーチファクトが発生するので、揺れを引き起こした音の周波数成分の一部を、HuBERT（Hidden-unit Bidirectional Encoder Representation from Transformers）というニューラルネットワーク変換器を使って信号から音声に変換する。

異なるシナリオの実験セットアップ

　実験では、盗聴するスマートフォンと被盗聴スピーカーを同じ部屋に置いて行われた。数字データセットを用いて評価した結果、Google Pixel 3においては、10桁の数字の分類で80.66％の精度、20人のスピーカーの分類で91.28％の精度、性別分類で99.67％の精度が確認された。

Source and Image Credits: Y. Long, et al., “Side Eye: Characterizing the Limits of POV Acoustic Eavesdropping from Smartphone Cameras with Rolling Shutters and Movable Lenses,” in 2023 2023 IEEE Symposium on Security and Privacy（SP）（SP）, San Francisco, CA, US, 2023 pp. 1032-1049. doi: 10.1109/SP46215.2023.00059

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る