アニメキャラのダンス動画を自動作成するAI 4枚の立ち絵から生成可能：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国のMegvii Incと武漢大学の研究チームが開発した「Collaborative Neural Rendering using Anime Character Sheets」は、キャラクターの異なる角度からの立ち絵（キャラクターシート）複数枚（ここでは4枚）を入力して所望のポーズをレンダリングすることで、ダンス動画が自動作成できる学習モデルだ。

4枚の立ち絵からキャラクターにターゲットのダンスを躍らせた出力結果

この手法を用い、所望のダンスをキャラクターに踊らせた各ポーズの連続画像

　アーティストはバーチャルキャラクターデザインを示すために、一般的にキャラクターシートを使用する。キャラクタシートは、特定のキャラクターを複数の視点から観察した画像集である。そのため、アニメやその派生メディアの画像制作を支援するために広く利用されている。

　しかし、キャラクターシートを用いたアニメ制作において、キャラクターを任意のポーズで描画することは手間のかかる作業である。

　そこで今回は、キャラクターシートから得られる少数枚の任意ポーズ画像（異なる角度からの立ち絵）から所望のポーズを持つキャラクター画像を自動でレンダリングする新しい手法を提案する。

　この手法を実行するために、フィードフォワードベースライン手法であるCollaborative Neural Rendering （CoNR）を開発した。CoNRは、UVテクスチャマッピングを必要としないように、コンパクトなランドマークで表現できる「Ultra-Dense Pose」（UDP）を使用する。入力のポーズ画像からこのUDP表現に変換し、合わせてエンコードを行う。

（左）入力画像、（中央）UDP表現、（右）出力結果

CoNRの概要図

　UDPは、ウサギの耳、髪形、服装など、キャラクターの細かいディテールを表現できるため、アニメ制作のために望ましいポーズをよりよく芸術的に制御・調整することができる。

　CoNRは既存のコンピュータグラフィックスパイプラインで容易に生成できるため、アニメベースのゲームやバーチャルアシスタントなどのインタラクティブなアプリケーションに幅広く対応できる。

　さらに研究チームは、多様なポーズや外見の手描き合成画像を含む70万枚以上のキャラクターシートデータセットを収集した。このデータセットを用いてCoNRを学習させたところ、手描き画像と合成画像の両方で良好な結果を得ることができた。

　出力結果が確認できる動画はこちら。

Source and Image Credits: Lin, Zuzeng, et al. “Collaborative Neural Rendering using Anime Character Sheets.” arXiv preprint arXiv:2207.05378 (2022).