グリーンバックなしで自然に背景合成できる「Background Matting」 深層学習で前景切り抜き：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米ワシントン大学の研究チームが開発した「Background Matting」は、グリーンバックなしでも、動く人物と背景画像を合成できる深層学習フレームワークだ。

スマートフォン内蔵カメラで被写体が写るシーンと被写体が写らない背景シーンの2つのシーンを撮影し、この2つのシーンを用いて前景を切り抜き、新しい背景に統合した合成シーンを作り出す

　必要なのは、スマートフォンなどで同じ場所で撮影した被写体ありシーンと、被写体なしの背景シーンの2つのみ。この2つの画像を用いて前景を切り抜き、新しい背景に統合された画面を合成する。

　グリーンバックなどの特殊な環境を使わずに画像から前景を切り抜く技術は、前景を切り抜いたデータを生成するAlpha Matteという手法を中心に、「Alpha Matting」という分野として近年盛んに研究されている。

　今回提案するモデルも、このAlpha Matteを推定するための生成ネットワークが主要タスク。生成ネットワークでは、被写体が写った画像と写っていない画像を入力とし、自動計算されたセグメンテーションマスク画像を加えて、ピクセル単位のAlpha Matteと前景の持つ色を推定する。推定したAlpha Matteと前景色は、新しい背景画像との統合に用いられる。

　今回提案するモデルでは、被写体が写っている画像と写っていない画像に、自動計算されたセグメンテーションマスク画像を加え、ピクセル単位で前景を切り抜いたデータと前景の持つ色を推定。合成画像を生成する。

　ここで作られた合成画像を識別ネットワークに送り、敵対させることでより高品質な合成画像に仕上げる。

Background Mattingの深層学習アーキテクチャ

　出力した合成画像は、髪の毛や指先などのチラつきはあるものの、前景と背景が調和した違和感の少ない画像に仕上がっており、視覚的にも類似研究を大きく上回っている。合成シーンで被写体が動く様子は、デモ動画で確認できる。

（左）元の画像（右）人物だけを切り抜き別の背景を合成した画像