画像に写りこんだ水滴を除去できる「RainGAN」 シンガポールの研究チームが開発:Innovative Tech
シンガポールのNanyang Technological Universityの研究チームは、画像に写り込んだ水滴を除去する深層学習を用いた技術を開発した。雨などによってカメラレンズの表面に直接付着した水滴を撮影後の画像から除去する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
シンガポールのNanyang Technological Universityの研究チームが開発した「RainGAN: Unsupervised Raindrop Removal via Decomposition and Composition」は、画像に写り込んだ水滴を除去する深層学習を用いた技術だ。雨などによってカメラレンズの表面に直接付着した水滴を撮影後の画像から除去する。
雨粒などでカメラのレンズに付着した水滴は、シーンの一部をゆがませたり、覆い隠したりするため、自動運転車や屋外監視カメラなど、コンピュータビジョンアプリケーションの性能を低下させる。そのため、水滴を除去してシーンを鮮明に復元することは重要である。
これまでにも前景に写り込んだもの(フェンスや窓ガラスなど)を除去する手法は提案されてきたが、カメラレンズに直接付着した水滴に対して高性能に除去する手法の提案は少ない。既存の水滴除去技術でも、水滴付きの画像と、それと対になる水滴が付いていないペア画像のデータセットを大量に必要としていた。これらペア画像の収集は非常に困難である。
研究では、対になるペア画像を必要としない水滴除去のためのGAN(Generative Adversarial Network)フレームワークを提案する。
学習フレームワークは、水滴画像からきれいなシーンと水滴スタイルに分解するオートエンコーダーと、きれいなシーンと水滴スタイルから水滴画像へ合成する別のオートエンコーダーで構成する。分解だけでなく、抽出した水滴スタイルと異なるきれいなシーンとの合成を学習に取り入れることで、水滴除去の性能を大幅に向上させている。
学習したモデルは、水滴画像から水滴除去したクリーンな画像を出力できるだけでなく、水滴画像から抽出した水滴スタイルを別の画像に転送することもできる。
2つの水滴画像データセットを用いて行った実験では、今回の手法が最先端の対応するペアを必要とする類似法と同等の性能を発揮し、他の非ペア法であるGANを用いた画像間変換法よりも優れていると分かった。テストセットへの偏りが少ない結果から、より大きなテストセットや未経験データに対しても優れている可能性を示唆するという。
Source and Image Credits: X. Yan and Y. R. Loke, “RainGAN: Unsupervised Raindrop Removal via Decomposition and Composition,” 2022 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops (WACVW), 2022, pp. 14-23, doi: 10.1109/WACVW54805.2022.00007.
関連記事
- ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。 - ポケモン風のキャラクターをAIが作成、デモページを公開 GANの高速化研究の一環として
ドイツのUniversity of TubingenとMax Planck Institute for Intelligent Systems、University Heidelbergの研究チームは、最先端のGANより学習が最大で40倍高速化する手法を開発。ポケモン風のキャラクターを生成できるデモページを公開している。 - レーザーで木を焦がして作る「炭の電子回路」 お茶大などが開発
お茶の水女子大学と東京工科大学、ヤフー、東京大学による研究チームは、レーザー加工機で木材にレーザーを照射し、一部を炭にすることで木材表面に直接電子回路を作成する手法を開発した。 - 全て糸でできた46インチのディスプレイ カラー映像の出力や折り曲げが可能
英ケンブリッジ大学などによる研究チームは、全て繊維素材で製造したディスプレイを開発した。ディスプレイ部にカラー映像を映し出せ、表示した状態で通常の布地のように折り曲げられる。 - 月面探査機「玉兔2」による月の裏側の調査報告 暗い緑色に光るゲル状物質を発見
中国やカナダ、ドイツの研究チームは、月面探査機「玉兔2」(Yutu-2)による月の裏側の移動探査について、初期の2年間で行った探査内容や分析結果を詳細に書き記した調査書を発表した。主に、25日間の探査記録(CE-4ミッション)をベースに報告する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.