写真の手前に映りこむ“邪魔もの”を消し去る技術 台湾大学やGoogleなどが開発:Innovative Tech
窓越しに撮影したときの水滴やガラスの反射、被写体の手前にあるフェンスなどを自然に消すことができる。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
台湾大学、米Google、米カリフォルニア・マーセッド大学、米バージニア工科大学による研究チームが開発した「Learning to See Through Obstructions」は、画像内の手前に映りこんだ不要な障害物を除去する、機械学習ベースの技術だ。窓越しに撮影したときの水滴やガラスの反射、被写体の手前にあるフェンスなどを自然に消すことができる。
背景にある対象物と障害物要素はそれぞれのレイヤーがカメラに対して異なる深度に位置しているため、撮影した画像では2つのレイヤー間で動きが異なる。フレームごとに視点がずれるよう連続に複数枚撮影することで発生する背景と映り込み箇所の位置ずれ量の違いが生まれるためだ。これを利用するマルチフレームアプローチでは、明るさの恒常性や正確な動きを推定するなど、計算量の多い最適化プロセスを必要とする。今回はこれらの計算をCNN(畳み込みニューラルネットワーク)で行うことで高品質な結果を出力する。
カメラで撮影した短い画像シーケンスを入力に、背景と障害物の動きの違いから両方のレイヤーを再構築するように学習する。学習したモデルによって前景を除去した画像は、これまで困難であったモーションブラーや明るさが一定でない画像に対応し、 類似研究と比べても定量的に優れた性能を示したという。
反射面や障害物を除去する技術は、コンピュータビジョンベースで動作するロボットがシーンを正しく理解することにも応用できる。
関連記事
- 表と裏を独立検知できる布地タッチセンサー Google、「ZebraSense」開発
表裏のセンサーを交互に組み込むことで、表からも裏からも操作可能。 - 協調して動く球体ロボット群「FreeBOT」 くっついたり離れたり、転がったり壁を登ったり
自律システムの構築も目指す。 - レトロゲーム機でレトロゲームを自作 Microsoftが「TileCode」開発
「ツクール」など同種のものはあるが、今回はMSが構築した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.