　米ライス大学に所属する研究者が発表した論文「Seeing the Invisible: Next-Generation Cameras Leveraging Hidden Properties of Light」は、人間の目や従来のカメラでは捉えられないものを写し出す次世代のカメラ技術を提案した研究報告である。

人間の目や一般的なカメラではほとんど見えない光の次元を活用できるカメラとアルゴリズムを開発

　従来のカメラは人間の視覚に基づいており、光の強さや色を捉えることに重点を置いているが、これには限界がある。また人間の視覚は直接の光の反射に依存するため、カメラの視野も直接見える範囲に限られる。

　この研究では、RGBイメージングの限界を超えるために、光の偏光や光線の方向、飛行時間（time-of-flight）という3つの特性に焦点を当てている。偏光と光線の方向は、反射した表面の特性を明らかにし、光の飛行時間は物体が隠れている場所についての幾何学的な情報を提供する。これらの光の特性を利用することで、従来のカメラでは見えない情報を得ることできる。

　具体的には、まず表面反射の偏光を利用して、物体のジオメトリ（形状）の推定、反射率の分離、照明の推定を行い、視覚的外見の正確な推定と編集を実現している。

　次に、光沢のある物体の多視点画像上の反射を利用して、反射された3D環境を回復する方法を実現。これは実質的に、光沢のある物体をカメラに変えることに相当する。

偏光を用いた物体の外見分析と再現技術

多視点の反射を利用して物体をカメラに変換する説明

　最後に、光子の飛行時間の分布を利用するNLOS（Non-Line of Sight）イメージングシステムを実現している。このシステムの仕組みを簡単に説明すると、例えば壁に当たって反射した光がカメラに戻るまでの時間を測定することにより、カメラの視線から隠れた物体を再構築できる。このシステムは、脈動レーザー、SPADセンサー、ガルバノミラーを含むハードウェアで構成している。

NLOSシステムの概要

　応用面として、AR/VRでは、偏光と飛行時間データを利用してリアルな3Dキャプチャーが可能になる。自動運転分野では、これらの光の特性を活用して安全で堅牢なナビゲーションシステムが設計できる。医療イメージングでは、人体内の光の相互作用をより詳細に理解し、皮膚下構造の非侵襲的可視化が実現する。

Source and Image Credits: Akshat Dave. 2023. Seeing the Invisible: Next-Generation Cameras Leveraging Hidden Properties of Light. In SIGGRAPH Asia 2023 Doctoral Consortium（SA ’23）. Association for Computing Machinery, New York, NY, USA, Article 10, 1-4. https://doi.org/10.1145/3623053.3623374