複雑な白黒画像を精密にカラー化 深層学習を活用：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国の清華大学と米バージニア工科大学の研究チームが開発した「Instance-aware Image Colorization」は、白黒画像をカラー化する深層学習を用いた手法だ。画像内でどの範囲が1つの物体かを判定する領域分割技術を取り入れることで、精密なカラー化を実現した。

本手法により、白黒画像をカラー化した出力結果

　深層学習で白黒画像をカラー化する技術はこれまでも研究されてきたが、背景が複雑で複数の細かいオブジェクトを持つ画像ではうまく機能していなかった。

　今回の手法では、物体と背景を明確に分けることに着目し、事前学習済みの物体検出器（Mask R-CNN）を導入することで、細かいオブジェクトも正確に色付けすることを目指した。

　具体的には、オブジェクト領域を検出し色付けを行うモジュールと、画像全体の色付けを行うモジュールを別々に学習し、2つのネットワークから抽出された特徴を選択して統合することで物体と背景の混色を回避した。

本手法のアーキテクチャ。領域レベルと画像全体レベルの画像特徴を抽出し、特徴融合を最適化することで、滑らかな色付け結果を得るネットワーク構造

　これにより出力した画像は、細かいオブジェクトが複雑に登場する画像でも精密で鮮やかなカラー化が可能となった。また3つのベンチマークデータセットにおいても、既存の手法と比較して良好な結果が得られたとしている。

本手法の出力結果と既存の類似研究とを比較した表。左端列が入力画像、右端列が本手法の出力結果、中央4列がこれまでの類似研究の出力結果