Innovative Tech

“人の目やカメラでは見えないモノ”を写す次世代カメラ　米研究者が開発

公開 2023年12月19日 08時01分

更新 2023年12月18日 02時50分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米ライス大学に所属する研究者が発表した論文「Seeing the Invisible: Next-Generation Cameras Leveraging Hidden Properties of Light」は、人間の目や従来のカメラでは捉えられないものを写し出す次世代のカメラ技術を提案した研究報告である。

人間の目や一般的なカメラではほとんど見えない光の次元を活用できるカメラとアルゴリズムを開発

　従来のカメラは人間の視覚に基づいており、光の強さや色を捉えることに重点を置いているが、これには限界がある。また人間の視覚は直接の光の反射に依存するため、カメラの視野も直接見える範囲に限られる。

　この研究では、RGBイメージングの限界を超えるために、光の偏光や光線の方向、飛行時間（time-of-flight）という3つの特性に焦点を当てている。偏光と光線の方向は、反射した表面の特性を明らかにし、光の飛行時間は物体が隠れている場所についての幾何学的な情報を提供する。これらの光の特性を利用することで、従来のカメラでは見えない情報を得ることできる。

　具体的には、まず表面反射の偏光を利用して、物体のジオメトリ（形状）の推定、反射率の分離、照明の推定を行い、視覚的外見の正確な推定と編集を実現している。

　次に、光沢のある物体の多視点画像上の反射を利用して、反射された3D環境を回復する方法を実現。これは実質的に、光沢のある物体をカメラに変えることに相当する。

偏光を用いた物体の外見分析と再現技術

多視点の反射を利用して物体をカメラに変換する説明

　最後に、光子の飛行時間の分布を利用するNLOS（Non-Line of Sight）イメージングシステムを実現している。このシステムの仕組みを簡単に説明すると、例えば壁に当たって反射した光がカメラに戻るまでの時間を測定することにより、カメラの視線から隠れた物体を再構築できる。このシステムは、脈動レーザー、SPADセンサー、ガルバノミラーを含むハードウェアで構成している。

NLOSシステムの概要

　応用面として、AR/VRでは、偏光と飛行時間データを利用してリアルな3Dキャプチャーが可能になる。自動運転分野では、これらの光の特性を活用して安全で堅牢なナビゲーションシステムが設計できる。医療イメージングでは、人体内の光の相互作用をより詳細に理解し、皮膚下構造の非侵襲的可視化が実現する。

Source and Image Credits: Akshat Dave. 2023. Seeing the Invisible: Next-Generation Cameras Leveraging Hidden Properties of Light. In SIGGRAPH Asia 2023 Doctoral Consortium（SA ’23）. Association for Computing Machinery, New York, NY, USA, Article 10, 1-4. https://doi.org/10.1145/3623053.3623374

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る