Innovative Tech

NVIDIA、1枚の静止画で動きを合成　GANを用いた手法を開発　ダビデ像も踊り出す

　NVIDIAが10月に発表した新技術は、映像内の動きを抽出して画像に転送することで、リアルな合成動画を生成する敵対的生成ネットワーク（Generative adversarial networks、GAN）を用いた手法だ。

　人の全身運動や顔の輪郭運動など、領域分割マスクや線画スケッチを基に、動かしたい画像に合成し写実的な映像に仕上げる。

　ベースとなる以前の研究「Video-to-video synthesis」（vid2vid）では、学習したドメインでしか合成できなかったが、今回の研究では訓練データセットに含まれてなくても合成が可能になり、より幅広い合成動画が作成できる。

　デモ映像では、いくかの転送事例が紹介されている。例えば、ダンスをする人のキーポイントを用いて複数の人へ転送する、さまざまな人に無理やりダンスさせる、ダビデ像などのモノへの転送も可能だ。

　顔の動きを別の顔に転送する事例も発表された。無理やり顔の表情を動かす合成動画を作成できる。こちらも人の顔だけでなく、例えばモナリザへの転送も可能だ。

　最後に、マスク画像を用いて、車の前方に見える道路と街並みを転送する事例。さまざまな風景画像に、車から見える動きを転送する。

【編集履歴：2019年12月16日午後10時11分　本文の一部表現を変更しました】

この記事の著者

関連記事

• 

  体温で融ける金属で肌にフィット　変形するスマートウォッチ、韓国科学技術院が開発

• 

  人からロボットへ自然に手渡し、フェイントにも対応　ディズニーが技術開発