日照条件に左右されない街の「真の色」推定技術 NTT、メタバースなどに応用へ

[ITmedia]

　NTTは6月15日、撮影された画像から、照明条件によらない「真の色」（物体固有の反射率・アルベド）を推定する新たな手法を開発したと発表した。画像から影などを取り除き、任意の照明条件を再現できるという。実在の街を再現した“超リアルメタバース”構築などに応用する。

　街の写真など実世界データをデジタル化する際、撮影時の照明条件が影響する。

　例えば物体認識では、撮影時の照明条件が推定精度に影響するため、様々な照明条件下で撮影した画像を集めて検証する必要がある。また、さまざまな照明条件下で街の写真を複数つなぎ合わせてメタバース空間に再現する際、影が残ってしまう問題があった。

　こうした問題を解決するため、1枚の画像を、物体表面の照明条件に依存しない反射率（アルベド）画像と、照明条件に依存する陰影画像に分解する「固有画像分解」技術が開発されてきた。

　NTTの新技術では、レーザーを照射し、その反射光を計測することで3D空間上の距離を計測して点群として記録する装置「LiDAR」を活用。LiDARで反射光を計測する際に取得できる反射強度は照明条件に依存しないことに着目した。

　LiDAR反射強度と、事前知識を基にアルベドらしさを反復学習させる方法（教師無し学習）を併用することで、日影とテクスチャを区別して学習でき、教師無し学習手法の中で最高精度を達成できたという。

　研究成果は、6月18日にカナダ・バンクーバーで開幕するコンピュータビジョンの国際会議「CVPR」（Conference on Computer Vision and Pattern Recognition）2023に採択された。