アニメキャラのダンス動画を自動作成するAI 4枚の立ち絵から生成可能:Innovative Tech
中国のMegvii Incと武漢大学の研究チームは、キャラクターの異なる角度からの立ち絵を4枚を入力して所望のポーズをレンダリングすることで、ダンス動画が自動作成できる学習モデルを開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国のMegvii Incと武漢大学の研究チームが開発した「Collaborative Neural Rendering using Anime Character Sheets」は、キャラクターの異なる角度からの立ち絵(キャラクターシート)複数枚(ここでは4枚)を入力して所望のポーズをレンダリングすることで、ダンス動画が自動作成できる学習モデルだ。
アーティストはバーチャルキャラクターデザインを示すために、一般的にキャラクターシートを使用する。キャラクタシートは、特定のキャラクターを複数の視点から観察した画像集である。そのため、アニメやその派生メディアの画像制作を支援するために広く利用されている。
しかし、キャラクターシートを用いたアニメ制作において、キャラクターを任意のポーズで描画することは手間のかかる作業である。
そこで今回は、キャラクターシートから得られる少数枚の任意ポーズ画像(異なる角度からの立ち絵)から所望のポーズを持つキャラクター画像を自動でレンダリングする新しい手法を提案する。
この手法を実行するために、フィードフォワードベースライン手法であるCollaborative Neural Rendering (CoNR)を開発した。CoNRは、UVテクスチャマッピングを必要としないように、コンパクトなランドマークで表現できる「Ultra-Dense Pose」(UDP)を使用する。入力のポーズ画像からこのUDP表現に変換し、合わせてエンコードを行う。
UDPは、ウサギの耳、髪形、服装など、キャラクターの細かいディテールを表現できるため、アニメ制作のために望ましいポーズをよりよく芸術的に制御・調整することができる。
CoNRは既存のコンピュータグラフィックスパイプラインで容易に生成できるため、アニメベースのゲームやバーチャルアシスタントなどのインタラクティブなアプリケーションに幅広く対応できる。
さらに研究チームは、多様なポーズや外見の手描き合成画像を含む70万枚以上のキャラクターシートデータセットを収集した。このデータセットを用いてCoNRを学習させたところ、手描き画像と合成画像の両方で良好な結果を得ることができた。
出力結果が確認できる動画はこちら。
Source and Image Credits: Lin, Zuzeng, et al. “Collaborative Neural Rendering using Anime Character Sheets.” arXiv preprint arXiv:2207.05378 (2022).
関連記事
- 「神絵が1分で生成される」 画像生成AI「Midjourney」が話題
人間の指示をもとに画像を生成するAI「Midjourney」がTwitterで話題だ。Discordでイラストのお題を投稿すると画像を出力する仕組み。 - AIに思い通りの絵を描かせられるのは誰だ! 「Midjourney」指示力選手権
画像生成AI「Midjourney」が今話題になっている。英語で絵の内容やテイストを伝えると、お題に沿った画像を生成するAIで、人間の指示力が問われる。編集部で「AIへの指示力選手権」を開いた - スピーチに応じた“ろくろ回しポーズ”を自動生成、映像に反映 中国などの研究チームが技術開発
中国科学技術大学とJD AI Researchの研究チームは、発話に応じた上半身の動作を自動で生成するモデルを開発した。単調な動きだけを繰り返すのではなく、韻律(抑揚、音調、強勢、音長など)を考慮した自然な動作を生成する。 - 「マジック:ザ・ギャザリング」風のカードを自動生成できるAI 好きな言葉をカード名に入れるだけ
自然言語処理モデル「Cohere」などを開発する、カナダのCohere社はトレーディングカードゲーム「マジック:ザ・ギャザリング」(MTG)風のカードを自動生成できるAI「Urzas.ai」を作成した。 - コールセンターのKDDIエボルバが社内の電話対応を完全撤廃したワケ
KDDIグループのKDDIエボルバは、米Microsoftのコミュニケーションツール「Microsoft Teams」を活用し、社内の電話対応を撤廃した。コールセンター事業の同社が、社内とはいえ電話対応を撤廃した理由には「コミュニケーションのデータ分析」があった。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.