Innovative Tech

画像に写りこんだ水滴を除去できる「RainGAN」　シンガポールの研究チームが開発

公開 2022年03月01日 08時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　シンガポールのNanyang Technological Universityの研究チームが開発した「RainGAN: Unsupervised Raindrop Removal via Decomposition and Composition」は、画像に写り込んだ水滴を除去する深層学習を用いた技術だ。雨などによってカメラレンズの表面に直接付着した水滴を撮影後の画像から除去する。

（左）水滴が付着した状態の画像、（右）今回の手法を用いて水滴を除去した画像

　雨粒などでカメラのレンズに付着した水滴は、シーンの一部をゆがませたり、覆い隠したりするため、自動運転車や屋外監視カメラなど、コンピュータビジョンアプリケーションの性能を低下させる。そのため、水滴を除去してシーンを鮮明に復元することは重要である。

　これまでにも前景に写り込んだもの（フェンスや窓ガラスなど）を除去する手法は提案されてきたが、カメラレンズに直接付着した水滴に対して高性能に除去する手法の提案は少ない。既存の水滴除去技術でも、水滴付きの画像と、それと対になる水滴が付いていないペア画像のデータセットを大量に必要としていた。これらペア画像の収集は非常に困難である。

　研究では、対になるペア画像を必要としない水滴除去のためのGAN（Generative Adversarial Network）フレームワークを提案する。

　学習フレームワークは、水滴画像からきれいなシーンと水滴スタイルに分解するオートエンコーダーと、きれいなシーンと水滴スタイルから水滴画像へ合成する別のオートエンコーダーで構成する。分解だけでなく、抽出した水滴スタイルと異なるきれいなシーンとの合成を学習に取り入れることで、水滴除去の性能を大幅に向上させている。

（A）現実の水滴が付いた画像、（B）現実のクリーンな画像、（C）クリーンな画像BをAの水滴スタイルで合成した画像、（D）Aの水滴を除去した画像

　学習したモデルは、水滴画像から水滴除去したクリーンな画像を出力できるだけでなく、水滴画像から抽出した水滴スタイルを別の画像に転送することもできる。

　2つの水滴画像データセットを用いて行った実験では、今回の手法が最先端の対応するペアを必要とする類似法と同等の性能を発揮し、他の非ペア法であるGANを用いた画像間変換法よりも優れていると分かった。テストセットへの偏りが少ない結果から、より大きなテストセットや未経験データに対しても優れている可能性を示唆するという。

Source and Image Credits: X. Yan and Y. R. Loke, “RainGAN: Unsupervised Raindrop Removal via Decomposition and Composition,” 2022 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops (WACVW), 2022, pp. 14-23, doi: 10.1109/WACVW54805.2022.00007.

印刷する