MIT、ニューラルネットワーク採用の画像の背景置き換え技術「SSS」の論文公開

MIT CSAILが、手間の掛かる画像の背景置き換え作業を数分で行えるニューラルネットワーク採用技術「Semantic Soft Segmentation」を発表した。将来的には動画に応用したいとしている。

[ITmedia]

　米マサチューセッツ工科大学（MIT）のコンピュータ科学・人工知能研究所（CSAIL）は8月21日（現地時間）、ニューラルネットワークを採用した画像の背景置き換え技術「Semantic Soft Segmentation」（SSS）に関する論文（リンク先はPDF）を公開したと発表した。

　SSSという名称は、画像を画素レベルで把握する「Semantic Segmentation」に由来する。SSSは、オリジナルの画像のテクスチャと色を解析し、ニューラルネットワークが収集した情報と組み合わせることで、画像内のオブジェクトが何かを判断する。

　この過程でオブジェクトと背景の境目など、人間が手作業で切り分けるのには時間の掛かる部分についても自動的に切り分けられるという。動画（記事末に転載）では、子犬のふわふわした毛や女性の髪の毛なども自然に合成されているのが分かる。

　現在は画像の背景置き換えにフォーカスしているが、将来的には動画に応用していく計画という。

　この研究を進めるCSAILの訪問研究員、ヤギズ・アクソイ氏は「クリック1回で複数のイメージを組み合わせ、リアルなファンタジーワールドを創造できるようにするのが目標」と語った。現在は数分掛かるプロセスも数秒に短縮したいとしている。

　この論文は、CSAILと米Adobe Reseachおよび米Microsoftの研究者の共著だ。