隣の防音部屋をミリ波で盗聴、瞬時にテキスト化する技術 中国の研究者らが開発:Innovative Tech
香港大学や清華大学に所属する研究者らは、ミリ波(mmWave)信号から音声を認識するストリーミング自動音声認識(ASR)システムを提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
香港大学や清華大学に所属する研究者らが発表した論文「Radio2Text: Streaming Speech Recognition Using mmWave Radio Signals」は、ミリ波(mmWave)信号から音声を認識するストリーミング自動音声認識(ASR)システムを提案した研究報告である。このシステムは、周囲のノイズに強く、防音対策した部屋の外からでも取得でき、これまでと異なり長い文章をリアルタイムに認識する能力を提供する。
無線センシングの進展に伴い、特にミリ波信号の注目が高まっている。なぜなら、音源のミリメートルレベルの振動を検出でき、従来のマイクロフォンとは異なり、ノイズや遮音の障壁を貫通する能力があるからだ。
この研究では、ミリ波信号を用いたストリーミング音声認識システム「Radio2Text」を提案する。システムは、事前に音声を回復することなく、低遅延のストリーミングモードで1万3000語以上の単語を正確に認識できる。
このシステムは、低品質なmmWave信号からリアルタイムで多くの語彙のテキストを正確に認識することを目的としている。まず、1万語以上の単語を認識するための力強い特徴表現能力が求められるため、Radio2Textでは、効果的な音声特徴の抽出と関連付けを可能にするエンコーダー・デコーダー型のトランスフォーマーを導入している。
次に、信号品質の劣化が音声情報の品質を損なう可能性があるため、クロスモーダルな構造(音声信号からラジオ信号への転移を行う特殊な構造)と蒸留の技法を用いて、低品質の信号からでも正確な認識を可能にしている。
Radio2Textの効果と堅牢性を評価するために包括的な実験を実施した。静かな部屋、騒がしいノイズ環境、防音部屋を外側から取得する環境の3つのシナリオで行った。
結果は、1万3000語以上の語彙の認識に対して文字誤り率(CER)5.7%、単語誤り率(WER)9.4%を達成した。Radio2Textは、静かな環境、騒々しい環境、音の遮断された環境で他の類似手法よりも優れていることを示した。
さらに、静かなシナリオでは、Radio2TextはマイクロフォンベースのストリーミングASR方法と同等であり、マイクロフォンベースの方法が失敗する騒々しいシナリオや音の遮断されたシナリオでは、Radio2Textが効果的なことを実証した。
Source and Image Credits: Running Zhao, Jiangtao Yu, Hang Zhao, Edith C.H. Ngai. Radio2Text: Streaming Speech Recognition Using mmWave Radio Signals
関連記事
- 最大8m先からスマホで話す相手の声を盗聴できる攻撃 ミリ波の反射を利用
中国の浙江大学とHIC-ZJU、崑山杜克大学、米University of Colorado Denver、米SUNY Buffaloによる研究チームは、スマートフォンで話している相手の声を最大8m先から盗聴できる攻撃を提案した研究報告を発表した。 - 他人のスマホ通話をミリ波で盗聴する技術 スマホ用イヤフォンの振動から音声解読
米The Pennsylvania State Universityの研究チームは、他人が会話中のスマートフォンのイヤフォンの振動を検出し、通話相手が何を話しているかを最大83%の精度で解読できることを実証した研究報告を発表した。 - 隣の部屋をミリ波で盗聴 防音の壁でも喉元の皮膚振動を捉え音声復元
中国の浙江大学と米State University of New York at Buffaloによる研究チームは、ミリ波(mmWave)を用い、防音環境で守られている部屋内を外部から盗聴するシステムを開発した。被害者が発話した際の喉元付近の皮膚振動をミリ波で捉え、音声を復元する。 - 凸版、フレキシブルなミリ波反射シート開発 壁紙にも……「5G電波の不感地帯解消」
凸版印刷は、5G通信で利用する波長1〜10mmの電波を、望む方向に反射させられるミリ波反射シートを開発した。 - ミリ波レーダーで睡眠や心拍数をモニタリング 寝室見守りデバイス「ポム」のすごいところ
米国サンフランシスコのITベンチャー・Tellusとソースネクストが協業し、世界に先駆けて日本で展開することとなった非接触型の見守りデバイス「POM」(ポム)を体験してきました。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.