Innovative Tech

人物のライティングを深層学習で自由自在に　メリーランド大とAdobe、Amazonが開発

公開 2020年05月08日 10時20分

更新 2024年04月02日 11時49分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　メリーランド大学、Amazon.com、Adobe Researchによる米研究チームが開発した「Deep Single Image Portrait Relighting」は、深層学習を用いることで、1枚のポートレート画像のライティングを後で変更するリライティング手法だ。

ポートレート画像（左列）とターゲット照明（下段行）を入力とし、新しいポートレート画像を生成する

　ポートレート画像のライティング位置変更を再現するため、まずはさまざまな角度から光が当たっている約14万枚の人物画像から独自のデータセット「Deep Portrait Relighting」（DPR）を構築した。

　学習は、DPRデータセットとConvolutional Neural Network （CNN）を用いて訓練する。訓練は、リライティングで発生したアーティファクト（映像に生じるノイズ）を取り除くことに注力し、また敵対的生成ネットワーク「Generative Adversarial Network」（GAN）を用いて精度を向上させる。