Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
韓国のスタートアップ、Hyperconnectが2019年11月に発表した「MarioNETte」は、画像内の人物を写実的に動作させる合成技術だ。上下左右の顔全体の動き、目や口の部分的な動きまでを再構築する。
これまでターゲット画像(操られる側)に、ドライバー画像(操る側)を転送し合成アニメーションを生成する技術は数多く研究されてきた。しかし転送後のターゲット画像の特徴を保つことには四苦八苦している。自然に見せるための重要な課題だ。
新技術では、これまでより特徴を保持した現実的な合成アニメーションを生成する。加えて、少ないターゲット画像(1〜8枚)で生成し、任意のターゲット画像へ転送できるのも特徴だ。
パイプラインでは、各画像を入力に3Dランドマーク検出器を用い、ターゲット画像とドライバー画像の顔のキーポイントを抽出しエンコード。出力系列の要素と強く相関する入力系列の要素を抽出し、最後にターゲット画像とドライバー画像の特徴の不一致をさらに調整するため、敵対させ精度を高める。
関連記事
- NVIDIA、1枚の静止画で動きを合成 GANを用いた手法を開発 ダビデ像も踊り出す
ダビデは踊り、モナリザは表情を変える。 - 人の動画を別人の動きに 深層学習でリアルに操作
深度センサーを持っていない通常のカメラで撮影した動画を、CNNを使って別の動きに変えることが可能に。 - 光の当たり方から最適な撮影ポジション指定 スタンフォード大学が開発
光の魔法を代わりに計算してくれる技術が開発された。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.