白黒スクリーントーンを使った漫画をカラーに自動変換 深層学習で：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　香港中文大学と明愛白英奇専業学校の中国研究チームが開発した「Manga Filling Style Conversion with Screentone Variational Autoencoder」は、白黒漫画をカラー漫画に変換する深層学習ベースのフレームワークだ。逆にカラー漫画をモノクロに変換することもできる。

カラーをモノクロに、モノクロをカラーに変換する

　カラーとモノクロの違いは、塗り方にある。カラーの塗りは通常、ベタ塗りやグラデーションで埋められているのに対し、モノクロでは豊かなスクリーントーンパターンで表現している。

　基本的な特性も大きく異なる。カラー原稿が単一のピクセルに特徴が出ているのに対し、スクリーントーンはピクセルの周囲との関係に特徴が現れている。本手法では、スクリーントーンとカラーの特性を統一する学習ベースのモデル「Screentone Variational AutoEncoder」（ScreenVAE）で中間処理を行い、その後の色塗りタスクを容易にしている。

カラーとスクリーントーンの間のスタイル変換システム

　訓練後のモデルは、境界や重なり合う微細なディテールに干渉されずに色塗りを行う。

出力結果は、同じ対象物に対して変換する

　既存のスタイル変換技術と比較したところ、カラーからスクリーントーンへの変換では、既存手法よりも多様なパターンや階調強度が使われ、なじんだ仕上がりを出力したとしている。多様なスクリーントーンからカラーの変換では、既存手法よりも自然な配色を実現したという。参照するカラーパレットを入力することで、適応した色合いにすることも可能だ。

カラー漫画をモノクロ漫画に変換し、既存手法と比較した図

モノクロ漫画をカラー漫画に変換し、既存手法と比較した図

参照カラーを指定した出力結果

　写真を白黒漫画に変換する例も紹介している。

実際のカラー写真をスクリーントーンに変換した出力結果