スマホの“カメラ部品の揺れ”から周囲の音を盗聴する攻撃 マイクは不要 米国の研究者らが実証:Innovative Tech
米ミシガン大学、米フロリダ大学、米ノースイースタン大学に所属する研究者らは、音波によって揺れるスマートフォンのカメラ部品から音声を復元する研究報告を発表した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: @shiropen2
米ミシガン大学、米フロリダ大学、米ノースイースタン大学に所属する研究者らが発表した論文「Side Eye: Characterizing the Limits of POV Acoustic Eavesdropping from Smartphone Cameras with Rolling Shutters and Movable Lenses」は、音波によって揺れるスマートフォンのカメラ部品から音声を復元する研究報告である。
スマートフォンのマイクにアクセスできない場合でも、スマートフォンアプリを使用して音声を盗聴できる方法となる。
膜を前後に素早く揺らすと、空気中に音波が発生し、それが音として聞こえる。音波は、1秒間に数千回という非常に速いスピードで物体を前後に揺らすことが分かっている。
この音波は空気中を伝搬し、障害物に接触することで微小な揺れを引き起こす。そのため、スマートフォンにも影響を及ぼし、今回はこの音波をスマートフォンのカメラで検出し、その中から音声信号を抽出することで盗聴する手法を提案する。
具体的には、音波がカメラのコンポーネントに与える影響によってスマートフォンカメラのビデオストリームの変化を観察する。
前提条件として、スマートフォンのマイクはOFFにしておいていいが、カメラをONにしておく必要がある。カメラはどこに向けておいてもよく、何もない天井や床を捉えていても機能する。
音波によってカメラの小さな機械部品が揺れ、それがカメラの映像に小さな変化として現れる。特に、カメラのCMOSセンサーが1フレームずつ撮影している間に音波によって微小に揺れたり、カメラの可動レンズ(手ブレ補正やオートフォーカス機能をサポート)のスプリングやワイヤが揺れたりすることがある。
そして、映像にアーチファクトが発生するので、揺れを引き起こした音の周波数成分の一部を、HuBERT(Hidden-unit Bidirectional Encoder Representation from Transformers)というニューラルネットワーク変換器を使って信号から音声に変換する。
実験では、盗聴するスマートフォンと被盗聴スピーカーを同じ部屋に置いて行われた。数字データセットを用いて評価した結果、Google Pixel 3においては、10桁の数字の分類で80.66%の精度、20人のスピーカーの分類で91.28%の精度、性別分類で99.67%の精度が確認された。
Source and Image Credits: Y. Long, et al., “Side Eye: Characterizing the Limits of POV Acoustic Eavesdropping from Smartphone Cameras with Rolling Shutters and Movable Lenses,” in 2023 2023 IEEE Symposium on Security and Privacy(SP)(SP), San Francisco, CA, US, 2023 pp. 1032-1049. doi: 10.1109/SP46215.2023.00059
関連記事
- スマートテレビのリモコン操作から個人情報を盗み出す攻撃 屋内のIoTエアコンなどを悪用
香港中文大学などに所属する研究者らは、スマートテレビを操作する家庭用の赤外線(IR)リモコンからIR信号を取得し、機密情報を抽出する攻撃を提案した研究報告を発表した。 - “こっそり録音”するスマホを撃退できる盗聴防止装置 中国の研究者らが開発
中国の浙江大学とHIC-ZJUに所属する研究者らは、スマートデバイスで盗聴する行為を防止するための装置を提案した研究報告を発表した。 - 最大8m先からスマホで話す相手の声を盗聴できる攻撃 ミリ波の反射を利用
中国の浙江大学とHIC-ZJU、崑山杜克大学、米University of Colorado Denver、米SUNY Buffaloによる研究チームは、スマートフォンで話している相手の声を最大8m先から盗聴できる攻撃を提案した研究報告を発表した。 - 他人のスマホ通話をミリ波で盗聴する技術 スマホ用イヤフォンの振動から音声解読
米The Pennsylvania State Universityの研究チームは、他人が会話中のスマートフォンのイヤフォンの振動を検出し、通話相手が何を話しているかを最大83%の精度で解読できることを実証した研究報告を発表した。 - PCが会話を盗聴してないか確認できる装置「TickTock」 シンガポールと韓国の研究者らが開発
シンガポールのNational University of Singaporeと韓国のYonsei Universityの研究チームは、ラップトップPCのマイクが会話をひそかに録音していないかどうかをチェックする装置を開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.