ITmedia NEWS > AI+ >
ニュース
» 2020年05月08日 10時19分 公開

人物のライティングを深層学習で自由自在に メリーランド大とAdobe、Amazonが開発Innovative Tech

将来のLightroom、Photoshopに搭載されるとうれしい機能。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 メリーランド大学、Amazon.com、Adobe Researchによる米研究チームが開発した「Deep Single Image Portrait Relighting」は、深層学習を用いることで、1枚のポートレート画像のライティングを後で変更するリライティング手法だ。

photo ポートレート画像(左列)とターゲット照明(下段行)を入力とし、新しいポートレート画像を生成する

 ポートレート画像のライティング位置変更を再現するため、まずはさまざまな角度から光が当たっている約14万枚の人物画像から独自のデータセット「Deep Portrait Relighting」(DPR)を構築した。

 学習は、DPRデータセットとConvolutional Neural Network (CNN)を用いて訓練する。訓練は、リライティングで発生したアーティファクト(映像に生じるノイズ)を取り除くことに注力し、また敵対的生成ネットワーク「Generative Adversarial Network」(GAN)を用いて精度を向上させる。

photo ネットワークの構造図

 学習したモデルは、ポートレート画像とライティング条件を入力すると、最終的に1024×1024ピクセルの解像度でリライティング画像を生成する。深層学習ベースのアルゴリズムの中では、過去最高の解像度を実現するという。

 動画はこちら

Copyright © ITmedia, Inc. All Rights Reserved.