“HDMIケーブルから漏れる信号”を屋外から傍受→モニターの表示内容を盗み見るAI ウルグアイチームが開発：Innovative Tech（AI+）

ウルグアイのUniversidad de la Republica Montevideoに所属する研究者らは、HDMIケーブルから意図せずに放射される電磁波を傍受し、AIを使用して解読することでモニターに表示されている画像を再現する攻撃を提案した研究報告を発表した。

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　ウルグアイのUniversidad de la Republica Montevideoに所属する研究者らが発表した論文「Deep-TEMPEST: Using Deep Learning to Eavesdrop on HDMI from its Unintended Electromagnetic Emanations」は、HDMIケーブルから意図せずに放射される電磁波を傍受し、AIを使用して解読することでモニターに表示されている画像を再現する攻撃を提案した研究報告である。

実験のセットアップ　（1）傍受用のアンテナ、（2）RFフィルターとアンプ、（3）ソフトウェア無線（SDR）、（4）攻撃用のラップトップ

　ケーブルを通じて信号が送られる際には、常に一定量の電磁波漏えいが発生し、アナログ信号の場合、攻撃者が比較的容易に読み取ることができた。この現象を利用した攻撃は、「TEMPEST」と呼ばれている。

　以前は、コンピュータと画面の接続はアナログだったが、現在はデジタル化され、HDMIケーブルを通じてバイナリデータが送信されている。デジタル信号はより複雑な形式でより多くのデータを運ぶため、傍受は容易でも解読は困難となっている。

　研究チームは、数メートル離れた場所から傍受したデジタル信号から画面を再構築するエンドツーエンドの深層学習アーキテクチャを開発した。ケーブルから漏れ出る信号は、攻撃者が屋内外からアンテナなどを使用して傍受する。

　まず、HDMIの信号特性を詳細に分析し、数学的モデルを構築している。このモデルにより、どの周波数で信号を捉えるべきかを決定し、また実際の装置を使わずにシミュレーションデータを生成することが可能となった。

　信号の取得にはソフトウェア無線（SDR）を使用する。SDRは受信した高周波信号をベースバンドに変換し、サンプリングしたデータをコンピュータに提供する。このデータは複素数値の配列として扱われ、これが深層学習モデルへの入力となる。

　深層学習モデルとしては、DRUNet（Deep Residual UNet）と呼ばれるCNNアーキテクチャを採用。このモデルは、入力された複素数値の配列から元の画像を推測するように訓練される。訓練データには実際のキャプチャーデータとシミュレーションデータの両方を使用している。

提案システムの攻撃概要

　攻撃の性能を測定するため、研究チームは復元された画像に対してテキストキャプチャーソフトウェアを使用し、結果のテキストを元の画面画像と比較した。その結果、従来の実装を大幅に上回り、平均文字誤り率を60％以上削減した。また、シミュレーションデータで事前訓練し、少量の実データで微調整（ファインチューニング）することで最高性能を達成している。

　この技術により、攻撃者はユーザーが個人情報、銀行のログイン情報、暗号化されたメッセージを入力する際に画面を盗み見られる。この手法は、GNU Radioフレームワークに統合されたオープンソースの実装として公開されている。

Source and Image Credits: Fernandez, Santiago, et al. “Deep-TEMPEST: Using Deep Learning to Eavesdrop on HDMI from its Unintended Electromagnetic Emanations.” arXiv preprint arXiv:2407.09717（2024）.