　中国のZhejiang Labと米UCLA（University of California, Los Angeles）の研究チームが開発した「Compact light field photography towards versatile three-dimensional vision」は、虫の複眼とコウモリの超音波探知を組み合わせた新たなカメラシステムだ。曲がった先の物体や何かの背後にある隠れた物体も同時に観察できるという。

カメラシステムの実験の様子。文字「X」の前に長方形の障害物があるが認識している

　コウモリは暗闇の中で、エコーロケーションと呼ばれる音波探知機を使って、周囲の状況を鮮明に映し出す。コウモリの鳴き声は、高周波数で周囲に反射し、耳で拾われる。その反響が届くまでの時間や音の強さのわずかな違いから、どこに何があるのか、何が邪魔をしているのか、獲物が近くにいるのかをリアルタイムに知ることができる。

　昆虫の中には複眼を持ち、1つの「眼」が数百から数万個の視覚のための単位で構成されているため、複数の視線から同じものを見ることができる。例えば、ハエの複眼は目の焦点距離が一定でも360度近い視野を確保できる。

　本研究では、ハエやコウモリに見られる特殊な能力に触発され、死角もスキャンできる並外れた深度範囲を持つ多次元イメージング「CLIP」（Compact Light-field Photography）を提案する。CLIPは、計算機による画像処理によって、角や物陰に隠れた物体の大きさや形状を読み取ることができる。

　CLIPは、レーザーで周囲をスキャンする「LiDAR」（Light Detection And Ranging）を使用する。LiDARはレーザー光を照射して周囲の物体に当たって跳ね返るまでの時間を計測し、物体までの距離や方向を測定する優れたカメラだが、隠れた物体を見落とす。

　CLIPでは7台のLiDARアレイを活用して低解像度の画像を撮影し、個々のカメラが見たものを処理することで合成した画像を高解像度の3D画像として再構成する方法で、隠れた物体の検知を可能にする。

カメラアレイシステムとCLIPを組みわせてオクルージョンの物体を認識するイメージ図

　小型のライトフィールドキャプチャー装置と言い換えることもできるだろう。このシステムによって、異なる距離に置かれた複数の物体が存在する複雑な3Dシーンをリアルタイムに撮影可能となる。

　この技術は、自動運転車や医療用画像処理装置に搭載され、現在の技術水準をはるかに超えるセンシング能力を発揮することが期待される。

Source and Image Credits: Feng, X., Ma, Y. & Gao, L. Compact light field photography towards versatile three-dimensional vision. Nat Commun 13, 3333 (2022). https://doi.org/10.1038/s41467-022-31087-9

動画が撮れるインスタントカメラ、1秒程度の映像をその場で印刷　米MITが開発
米MIT（Massachusetts Institute of Technology）の研究チームは、動画が撮れるインスタントカメラを開発した。撮影した動画（数枚のフレームが写った1枚の画像）をその場で印刷し、縞模様のシートを重ねて移動させる方法で記録した1秒程度の動きを生成する。
「飲み物に何か混入されていないか」をスマホカメラで検出　気泡の形や動きから予測
シンガポール国立大学と韓国Yonsei Universityの研究チームは、スマートフォンのカメラのみで開封前の密封されたボトル内の液体内容物に不純物が混入されていないかを検出するシステムを開発した。
1枚のパノラマ写真から室内を3次元で忠実に再現　Googleなどが開発
中国の浙江大学と米Googleの研究チームは、1枚のパノラマ写真から部屋内の全体の3次元シーンを正確に再現するシステムを開発した。
iPhoneの自撮りで本物そっくりな動く3Dリアルアバター　米Metaが技術開発
米MetaのReality Labsの研究チームは、スマートフォンで自撮りした短時間のスキャン画像から、本物そっくりの3D頭部アバターを生成するシステムを開発した。異なる視点やフォトリアリスティックな表情を表現し、高い忠実度で再現する。
道路脇にごみ箱があると自動運転車が間違って止まる？　米国の研究者らが検証
米カリフォルニア大学アーバイン校と米カリフォルニア大学ロサンゼルス校の研究チームは、自動運転車において、道路脇に置かれた物に反応し停止してしまうかを検証した論文を発表した。