写真の手前に映りこむ“邪魔もの”を消し去る技術 台湾大学やGoogleなどが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　台湾大学、米Google、米カリフォルニア・マーセッド大学、米バージニア工科大学による研究チームが開発した「Learning to See Through Obstructions」は、画像内の手前に映りこんだ不要な障害物を除去する、機械学習ベースの技術だ。窓越しに撮影したときの水滴やガラスの反射、被写体の手前にあるフェンスなどを自然に消すことができる。

画像の前景に映り込む窓の反射や雨滴、フェンスなどを除去する

　背景にある対象物と障害物要素はそれぞれのレイヤーがカメラに対して異なる深度に位置しているため、撮影した画像では2つのレイヤー間で動きが異なる。フレームごとに視点がずれるよう連続に複数枚撮影することで発生する背景と映り込み箇所の位置ずれ量の違いが生まれるためだ。これを利用するマルチフレームアプローチでは、明るさの恒常性や正確な動きを推定するなど、計算量の多い最適化プロセスを必要とする。今回はこれらの計算をCNN（畳み込みニューラルネットワーク）で行うことで高品質な結果を出力する。

　カメラで撮影した短い画像シーケンスを入力に、背景と障害物の動きの違いから両方のレイヤーを再構築するように学習する。学習したモデルによって前景を除去した画像は、これまで困難であったモーションブラーや明るさが一定でない画像に対応し、 類似研究と比べても定量的に優れた性能を示したという。

（左）元画像（右）窓の反射を除去した画像

（左）元の画像（右）本手法を用いてフェンスや雨滴、窓の落書きを除去した画像

　反射面や障害物を除去する技術は、コンピュータビジョンベースで動作するロボットがシーンを正しく理解することにも応用できる。

　動画はこちら。