Innovative Tech

アニメキャラのダンス動画を自動作成するAI　4枚の立ち絵から生成可能

公開 2022年08月05日 08時03分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国のMegvii Incと武漢大学の研究チームが開発した「Collaborative Neural Rendering using Anime Character Sheets」は、キャラクターの異なる角度からの立ち絵（キャラクターシート）複数枚（ここでは4枚）を入力して所望のポーズをレンダリングすることで、ダンス動画が自動作成できる学習モデルだ。

4枚の立ち絵からキャラクターにターゲットのダンスを躍らせた出力結果

この手法を用い、所望のダンスをキャラクターに踊らせた各ポーズの連続画像

　アーティストはバーチャルキャラクターデザインを示すために、一般的にキャラクターシートを使用する。キャラクタシートは、特定のキャラクターを複数の視点から観察した画像集である。そのため、アニメやその派生メディアの画像制作を支援するために広く利用されている。

　しかし、キャラクターシートを用いたアニメ制作において、キャラクターを任意のポーズで描画することは手間のかかる作業である。

　そこで今回は、キャラクターシートから得られる少数枚の任意ポーズ画像（異なる角度からの立ち絵）から所望のポーズを持つキャラクター画像を自動でレンダリングする新しい手法を提案する。

　この手法を実行するために、フィードフォワードベースライン手法であるCollaborative Neural Rendering （CoNR）を開発した。CoNRは、UVテクスチャマッピングを必要としないように、コンパクトなランドマークで表現できる「Ultra-Dense Pose」（UDP）を使用する。入力のポーズ画像からこのUDP表現に変換し、合わせてエンコードを行う。