Innovative Tech

写真や動画を「新海誠みたいに」「宮崎駿っぽく」変換できる「AnimeGAN」　武漢大学などが開発（1/2 ページ）

公開 2020年08月11日 18時13分

更新 2024年04月02日 11時46分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　武漢大学と湖北工業大学からなる中国の研究チームが開発した「AnimeGAN: A Novel Lightweight GAN for Photo Animation」は、現実世界で撮影した写真をアニメ風の画像に高速変換する技術だ。深層学習を用いた軽量なフレームワークで、宮崎駿監督や新海誠監督の作品のようなアニメ風の高品質画像に仕上げることができる。

左から入力画像、新海誠スタイル、今敏スタイル、宮崎駿スタイル

　高品質なアニメ作品を制作するためには、線や質感、色、影などを入念に考慮する必要があり、制作に手間と時間がかかる。現実世界の写真を自動的に高品質なアニメ画像に変換できる技術があれば、効率化の観点から重要視されるだろう。

　今回の手法では、実写からアニメ画像に変換するGAN（Generative Adversarial Network）を用いた新しいフレームワークを提案している。画像から画像へスタイル変換する従来のGANベースの手法と比べ、アニメに特化しているため、ネットワークパラメーターが少なくて済み、軽量であることが特徴だ。

　現実の写真をアニメ画像に変換するための生成ネットワークと、画像が現実の対象領域のものか生成ネットワークによって作成されたものかを判別する識別ネットワークでシステムは構成される。高速な転送を実現するために、軽量な生成ネットワークを採用している。

アーキテクチャ

　テクスチャや線をアニメ風に変換するための「grayscale style loss」、色を再構成するための「color reconstruction loss」、生成した画像がグレースケール画像として表示されないようにするための「grayscale adversarial loss」の3つの新しい損失関数を用いることで、生成された画像はアニメ的な鮮やかな色彩を得られる。

　学習したモデルの出力結果を、最先端のアニメスタイル転写方式であるCartoonGANとComixGANと比較したが、今回の手法の方がパラメーター数と計算コストを大幅に削減でき、処理速度が向上したという結果が出た。アーティファクト（生成に失敗した不自然な部分）が部分的に発生するのを抑え、写真の内容と対応する色を効果的に保持できたとしている。