ニュース
人物のライティングを深層学習で自由自在に メリーランド大とAdobe、Amazonが開発:Innovative Tech
将来のLightroom、Photoshopに搭載されるとうれしい機能。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
メリーランド大学、Amazon.com、Adobe Researchによる米研究チームが開発した「Deep Single Image Portrait Relighting」は、深層学習を用いることで、1枚のポートレート画像のライティングを後で変更するリライティング手法だ。
ポートレート画像のライティング位置変更を再現するため、まずはさまざまな角度から光が当たっている約14万枚の人物画像から独自のデータセット「Deep Portrait Relighting」(DPR)を構築した。
学習は、DPRデータセットとConvolutional Neural Network (CNN)を用いて訓練する。訓練は、リライティングで発生したアーティファクト(映像に生じるノイズ)を取り除くことに注力し、また敵対的生成ネットワーク「Generative Adversarial Network」(GAN)を用いて精度を向上させる。
学習したモデルは、ポートレート画像とライティング条件を入力すると、最終的に1024×1024ピクセルの解像度でリライティング画像を生成する。深層学習ベースのアルゴリズムの中では、過去最高の解像度を実現するという。
動画はこちら。
関連記事
- デジタル絵画に自然な照明効果を後から合成 台湾・東呉大と早稲田大が開発
マットペイントを使った合成などの利用シーンが想定されている。 - 1枚の顔写真にリアルな動きを 韓国企業「MarioNETte」開発
他人の動きで人の顔を操ることができる。しかも自然に。 - 人の動画を別人の動きに 深層学習でリアルに操作
深度センサーを持っていない通常のカメラで撮影した動画を、CNNを使って別の動きに変えることが可能に。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.