Innovative Tech
線画を自動着色、別画像の色合いを参照 KAISTなどが開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
韓国科学技術院（Korea Advanced Institute of Science and Technology：KAIST）、高麗大学校、NAVER WEBTOONによる韓国研究チームが開発した「Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence」は、線画を自動着色する機械学習ベースの手法だ。
CelebAとImageNetのデータセットを用いた出力結果。上段行が参照画像、左列が線画
今回の手法は、参照画像から抜き出した色を線画に色付けするワークフローを採用している。そのため、気に入った画像の色合いをそのまま線画に反映できる。
このワークフローを実現するために、参照画像の特定の領域から線画の対応するピクセル位置に特徴情報を転送するネットワークを構築する。
このネットワークでは、データセットの入力画像から線画と参照画像を生成して学習し、視覚的対応関係を訓練する自己教師付き学習スキームを取り入れている。学習用に参照画像と線画のペアを用意する必要がなく、カラー画像のみで行える。
このようにして得た情報を、SCFT（spatially corresponding feature transfer）モジュールに送る。ここでは、参照画像のどの部分から情報を持ってくるか、線画のどの部分にその情報を転送するかを学習する。
アーキテクチャ
学習したモデルの出力結果を評価するため、人の顔、物の写真、アニメなど、幅広い領域のデータセットを対象にした。モデルが対応する領域の参照画像をどれだけ忠実に反映しているかを測定するために、SC-PSNRと呼ぶ新規の評価指標も新たに作成した。評価の結果、定性と定量の両方で、この手法が線画の色付けという課題において、既存研究よりもよい結果を示したという。
類似研究との出力結果比較。左列から線画、参照画像、今回の手法による出力結果、類似研究の出力結果、最後に元画像
CelebAデータセットを用いた出力結果。上段行が参照画像、左列が線画
Tag2pixデータセットを用いた出力結果。上段行が参照画像、左列が線画
Edges→Shoesデータセットを用いた出力結果。上段行が参照画像、左列が線画
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
日本人の大腸がん、約半数に“腸内細菌の毒素”が関与 40歳以下の発症は7割 東大・阪大が200人を全ゲノム解析
-
2
「コミューン」不正アクセスでLINEヤフー、Sansan、パナソニックでも会員情報漏えいの可能性
-
3
「お前たちのクラウドはわれわれのもの」 IDCFクラウドの管理画面に出た攻撃者のメッセージ 内容に運営元は
-
4
履歴書100通に1通「AIだけが読める文字」 20万件調査でわかった“就活ハック”の手口 米研究
-
5
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
6
JR東日本、「えきねっと」「ビューカード」などで漏えいか メルアドなど最大609万件 IDCFへの不正アクセスで【追記あり】
-
7
山中で遭難の16歳少年、登山計画に生成AI「Claude」利用 救助隊は「ルートの妄信」警鐘
-
8
SBI証券、Google・Appleパスキー乗っ取り被害「確認されていない」 注意喚起は他社事案
-
9
OpenAI、安全性研究者3人を解雇 本人らは「安全性を優先したため」と主張、同社は「機密情報の扱いに関する規定違反」と説明
-
10
ChatGPT、無料版を含む全ユーザーに「GPT-6」 回答内に“操作できる画面”を生成する「Intelligent UI」搭載
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR