白黒スクリーントーンを使った漫画をカラーに自動変換 深層学習で:Innovative Tech
モノクロ原稿で使われるスクリーントーン。カラー化はやっかいな作業だが、それを自動化する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
香港中文大学と明愛白英奇専業学校の中国研究チームが開発した「Manga Filling Style Conversion with Screentone Variational Autoencoder」は、白黒漫画をカラー漫画に変換する深層学習ベースのフレームワークだ。逆にカラー漫画をモノクロに変換することもできる。
カラーとモノクロの違いは、塗り方にある。カラーの塗りは通常、ベタ塗りやグラデーションで埋められているのに対し、モノクロでは豊かなスクリーントーンパターンで表現している。
基本的な特性も大きく異なる。カラー原稿が単一のピクセルに特徴が出ているのに対し、スクリーントーンはピクセルの周囲との関係に特徴が現れている。本手法では、スクリーントーンとカラーの特性を統一する学習ベースのモデル「Screentone Variational AutoEncoder」(ScreenVAE)で中間処理を行い、その後の色塗りタスクを容易にしている。
訓練後のモデルは、境界や重なり合う微細なディテールに干渉されずに色塗りを行う。
既存のスタイル変換技術と比較したところ、カラーからスクリーントーンへの変換では、既存手法よりも多様なパターンや階調強度が使われ、なじんだ仕上がりを出力したとしている。多様なスクリーントーンからカラーの変換では、既存手法よりも自然な配色を実現したという。参照するカラーパレットを入力することで、適応した色合いにすることも可能だ。
写真を白黒漫画に変換する例も紹介している。
関連記事
- 表と裏を独立検知できる布地タッチセンサー Google、「ZebraSense」開発
表裏のセンサーを交互に組み込むことで、表からも裏からも操作可能。 - 協調して動く球体ロボット群「FreeBOT」 くっついたり離れたり、転がったり壁を登ったり
自律システムの構築も目指す。 - レトロゲーム機でレトロゲームを自作 Microsoftが「TileCode」開発
「ツクール」など同種のものはあるが、今回はMSが構築した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.