Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
NVIDIAが10月に発表した新技術は、映像内の動きを抽出して画像に転送することで、リアルな合成動画を生成する敵対的生成ネットワーク(Generative adversarial networks、GAN)を用いた手法だ。
人の全身運動や顔の輪郭運動など、領域分割マスクや線画スケッチを基に、動かしたい画像に合成し写実的な映像に仕上げる。
ベースとなる以前の研究「Video-to-video synthesis」(vid2vid)では、学習したドメインでしか合成できなかったが、今回の研究では訓練データセットに含まれてなくても合成が可能になり、より幅広い合成動画が作成できる。
デモ映像では、いくかの転送事例が紹介されている。例えば、ダンスをする人のキーポイントを用いて複数の人へ転送する、さまざまな人に無理やりダンスさせる、ダビデ像などのモノへの転送も可能だ。
顔の動きを別の顔に転送する事例も発表された。無理やり顔の表情を動かす合成動画を作成できる。こちらも人の顔だけでなく、例えばモナリザへの転送も可能だ。
最後に、マスク画像を用いて、車の前方に見える道路と街並みを転送する事例。さまざまな風景画像に、車から見える動きを転送する。
【編集履歴:2019年12月16日午後10時11分 本文の一部表現を変更しました】
関連記事
- 体温で融ける金属で肌にフィット 変形するスマートウォッチ、韓国科学技術院が開発
YouTuberの紹介でも話題の体温で融ける金属を使うと、腕にぴったりフィットするウェアラブルを作ることができる。 - 人からロボットへ自然に手渡し、フェイントにも対応 ディズニーが技術開発
驚くほどスムーズな受け渡しが、人からロボットへ行われる。その仕組みとは……。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.