人物のライティングを深層学習で自由自在に メリーランド大とAdobe、Amazonが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　メリーランド大学、Amazon.com、Adobe Researchによる米研究チームが開発した「Deep Single Image Portrait Relighting」は、深層学習を用いることで、1枚のポートレート画像のライティングを後で変更するリライティング手法だ。

ポートレート画像（左列）とターゲット照明（下段行）を入力とし、新しいポートレート画像を生成する

　ポートレート画像のライティング位置変更を再現するため、まずはさまざまな角度から光が当たっている約14万枚の人物画像から独自のデータセット「Deep Portrait Relighting」（DPR）を構築した。

　学習は、DPRデータセットとConvolutional Neural Network （CNN）を用いて訓練する。訓練は、リライティングで発生したアーティファクト（映像に生じるノイズ）を取り除くことに注力し、また敵対的生成ネットワーク「Generative Adversarial Network」（GAN）を用いて精度を向上させる。

ネットワークの構造図

　学習したモデルは、ポートレート画像とライティング条件を入力すると、最終的に1024×1024ピクセルの解像度でリライティング画像を生成する。深層学習ベースのアルゴリズムの中では、過去最高の解像度を実現するという。

　動画はこちら。