“目の反射”で相手が何を見ているか特定するAI 眼球に映る画像を3Dシーンで復元 米研究者らが開発:Innovative Tech
米メリーランド大学カレッジパーク校に所属する研究者らは、瞳に映る画像を3Dシーンで再構築する学習モデルを提案した研究報告を発表した。カメラで目の反射光を複数回取得し、それによって眼球に写る画像を3D形式で再現する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: @shiropen2
米メリーランド大学カレッジパーク校に所属する研究者らが発表した論文「Seeing the World through Your Eyes」は、瞳に映る画像を3Dシーンで再構築する学習モデルを提案した研究報告である。カメラで目の反射光を複数回取得し、それによって眼球に写る画像を3D形式で再現する。
瞳の中には、見ているシーンが鏡のように写っている。今回の手法では、瞳に映った眼球画像を使用して「Neural Radiance Fields」(NeRF)を使ってシーンを3Dで再現する。
通常、NeRFではカメラを移動させて異なる角度から複数枚の画像を撮影し、それを使って3Dモデルを再構築する。しかし、今回はカメラを動かす代わりに固定し、頭の動きによって変化するさまざまな目の角度から複数枚の画像を収集して入力データとして使用する。
観測した反射光にNeRFを訓練しても、2つの要因によって不十分になる。まず、通常の鮮明な画像とは異なり、目の画像は虹彩(瞳孔の後ろにある茶色い領域)のテクスチャと混ざり合っているため、3D再構成が困難である。
次に、目は小さく、画像から正確に位置を特定することが難しい。この2つの問題を解決するために、この手法では虹彩のテクスチャから反射を分離する方法を採用し、また角膜の姿勢推定の精度を向上させる技術を導入する。これにより、高い精度で鮮明な3Dシーンを再現できる。
この手法の性能と有効性を評価するために、実際に複数の参加者の目を撮影した画像群から3Dシーンをレンダリングする。参加者にはカメラの視野内で動いてもらい、1シーンあたり5〜15フレームを撮影する。
レンダリングした結果、単純にNeRFを適応する方法よりも、虹彩の分離と角膜の姿勢推定を最適化したこのアプローチの方が鮮明に復元できることが分かった。
Source and Image Credits: Alzayer, Hadi, Kevin Zhang, Brandon Feng, Christopher Metzler, and Jia-Bin Huang. “Seeing the World through Your Eyes.” arXiv preprint arXiv:2306.09348(2023).
関連記事
- メガネの反射からWeb会議中の画面を盗み見る攻撃 閲覧中のサイトを特定する精度は94%以上
米University of Michiganと中国のZhejiang Universityによる研究チームは、Web会議に参加するメガネをかけたユーザーのレンズの反射によって、画面上の機密情報を不注意に伝えてしまうことを明らかにした研究報告を発表した。 - どんな物体も“ステルス”加工できる技術 東大などが開発 形状の再帰性反射を最小化
東京大学梅谷研究室とイスラエルのライマン大学、オーストリア科学技術研究所に所属する研究者らは、元の形状を保持しつつ表面の再帰性反射を最適化することで物体をステルスデザインに変形するフレームワークを提案した研究報告を発表した。 - レーザーポインター内蔵コンタクトレンズ、フランスチームが開発 見ているモノに画像投影
フランスのIMT Atlantiqueに所属する研究者らは、装着者が見ているものに赤外線レーザーポインターを照射して画像を投影できるコンタクトレンズを提案した研究報告を発表した。 - 壁を見るだけで“壁の先にある物体”を脳活動から画像化 英国の研究者らが技術開発
英グラスゴー大学に所属する研究者らは、見えない向こう側の物体の反射光を見た脳活動から、その物体を画像として再構築するブレインコンピュータインタフェース(BCI)を提案した研究報告を発表した。 - 「室内で動く人をWi-Fiで監視できる攻撃」を妨害するデバイス 検出率を5%以下まで低下
ドイツのMax Planck Institute for Security and Privacy、ドイツのRuhr University Bochum、ドイツのUniversity of Applied Sciencesの研究チームは、Wi-Fiなどの無線信号を外部から取得し屋内で動く人の監視を妨害するデバイスを開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.