スマホの“環境光センサー”から情報を取得するサイバー攻撃 カメラ使わずに画像化できるか検証：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米マサチューセッツ工科大学の研究者らが発表した論文「Imaging privacy threats from an ambient light sensor」は、スマートフォンやタブレットなどの電子機器に搭載している環境光センサーを利用して、ユーザーのタッチ操作や手のジェスチャーを取得する攻撃に関する研究報告である。

環境光センサーを使って、タッチ操作を検出する実験

　ラップトップやスマートフォン、タブレットなどの電子機器に組み込まれているフロントカメラは、適切に管理されていない場合、ユーザーの顔情報などの漏えいリスクをもたらす可能性がある。そのため、カメラ部分にシールを貼ったり、専用のカバーを装着することで対策を取るが、それでもユーザーが何をしているのかを垣間見ることができる可能性があるという。

　この研究では、カメラを覆っていても、環境光センサーから収集できる情報を基に、ユーザー情報を取得する新たな攻撃手法を提案している。環境光センサーは、周囲の光の強さを感知し、それに基づいてデバイスの画面の明るさを自動調整する機能を持つ部品であり、モバイルデバイスやラップトップだけでなく、テレビやモニター、プロジェクターなどさまざまな電子機器に組み込まれている。

　この方法は、環境光センサーとデバイスの画面を組み合わせることで、カメラがなくてもタッチ操作や手の動きを捉える。具体的には、スマートデバイスの画面に特定のパターンを表示し、手や他の物体によって部分的に遮られたり、人の顔から反射して変化する光の強度を環境光センサーで捉える。このデータを基に、特殊なアルゴリズムを用いてユーザーの手の動きや位置を画像として再構築する。

提案手法の仕組みを表した図

　実験では、17.3インチのAndroidタブレットを使用し、環境光センサーとディスプレイの組み合わせにより、タッチ操作や手のジェスチャーを捉える方法で検証した。

　評価の結果、再構築した画像で手の動きが明確に識別できることが分かった。手の動きには、1本指のスライド、2本指のスクロール、3本指のピンチ、4本指のスワイプ、5本指の回転ジェスチャーが含まれる。

タブレットの環境光センサーから、さまざまなタッチジェスチャーを捉えることに成功

　別の実験では、環境光センサーを使用して、カメラを使わずにモニター前の顔などの物体を捉える可能性を探究した。これは、モニターと対象物の間に配置した遮蔽物（T字形やI字形など）が変形することで「ピンホール効果」（光が入ってくる範囲を小さくすることで、ピントが合いやすくなる効果）を生み出し、このピンホールを通してスクリーンからの光が対象物に当たり、その反射光を環境光センサーが捉えて画像化するものである。

　実験では、捉える対象物として人形の顔とカラフルなストライプ模様を使用した。画質は低いものの、カメラを使用せずに環境光センサーを用いてこれらの対象物を画像化することができた。

モニターと顔や物などの間に隠蔽物を置き、環境光センサーで顔や物などを捉える実験の概要

Source and Image Credits: Yang Liu et al. ,Imaging privacy threats from an ambient light sensor.Sci. Adv.10,eadj3608（2024）.DOI:10.1126/sciadv.adj3608