ITmedia NEWS > AI+ >
ニュース
» 2019年12月16日 17時16分 公開

Innovative Tech:NVIDIA、1枚の静止画で動きを合成 GANを用いた手法を開発 ダビデ像も踊り出す

ダビデは踊り、モナリザは表情を変える。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 NVIDIAが10月に発表した新技術は、映像内の動きを抽出して画像に転送することで、リアルな合成動画を生成する敵対的生成ネットワーク(Generative adversarial networks、GAN)を用いた手法だ。

 人の全身運動や顔の輪郭運動など、領域分割マスクや線画スケッチを基に、動かしたい画像に合成し写実的な映像に仕上げる。

 ベースとなる以前の研究「Video-to-video synthesis」(vid2vid)では、学習したドメインでしか合成できなかったが、今回の研究では訓練データセットに含まれてなくても合成が可能になり、より幅広い合成動画が作成できる。

photo 左:以前の研究 vid2vidのメソッド、右:本提案手法のメソッド、学習していないドメインでも合成可能

 デモ映像では、いくかの転送事例が紹介されている。例えば、ダンスをする人のキーポイントを用いて複数の人へ転送する、さまざまな人に無理やりダンスさせる、ダビデ像などのモノへの転送も可能だ。

photo ダンスを転送させた様子、上段行が参照画像で、左列が全身の動きサンプルとなるキーポイント
photo さまざまなダンスをダビデ像に転送させた様子

 顔の動きを別の顔に転送する事例も発表された。無理やり顔の表情を動かす合成動画を作成できる。こちらも人の顔だけでなく、例えばモナリザへの転送も可能だ。

photo 顔の動きを転送させた様子、上段行が参照画像、左列が顔の動きサンプル
photo さまざまな顔の動きをモナリザに転送させた様子

 最後に、マスク画像を用いて、車の前方に見える道路と街並みを転送する事例。さまざまな風景画像に、車から見える動きを転送する。

photo 車から見える動きを転送させた様子

【編集履歴:2019年12月16日午後10時11分 本文の一部表現を変更しました】

Copyright © ITmedia, Inc. All Rights Reserved.