Innovative Tech
手描きスケッチからリアルな顔を生成 深層学習に画家の手法導入し改善
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国・北京大学と米テキサスA&M大学の研究チームが開発した「Deep Plastic Surgery」は、ユーザーの手描きスケッチからリアルな顔画像の生成とインタラクティブな編集ができるフレームワークだ。
手描きのラフスケッチからリアルな顔を生成する
スケッチベースの画像編集はこれまでも研究されてきたが、訓練用スケッチの収集が難しいため、代わりにカラー画像から検出のエッジマップを用いてモデルを学習してきた。その結果、スケッチとエッジマップとの構造的な不一致による不安定な出力が多かった。
今回の手法では、手描きスケッチ自体を深層学習ネットワークに直接与えて顔画像を生成するのではなく、手描きスケッチをエッジマップに変換し、エッジマップからリアルな顔を合成する。
手書きスケッチからエッジマップを生成し、リアルな顔を合成する
この発想は、画家が絵を描くときの描画プロセスに触発されている。絵を描く場合、最初に対象物の形状をイメージし、多くの冗長な線を含む粗いラフスケッチから描き始める。それから線の合体や、細部の微調整、ミスの修正などをして徐々に最終的な線画を決定する。これは粗い線から細かく正確な線への描画プロセスであり、手描きのラフスケッチからエッジマップへのプロセスと似ている。
フレームワークの概要図
このやり方を今回のフレームワークに採用することで、学習時はスケッチデータを必要とせず、エッジマップとカラー画像のみで効果的に行える。実行時は手描きスケッチを入力に、リアルな顔を生成できるようになる。
出力結果の比較実験では、画像編集の視覚的品質とユーザーの制御性を向上させる上で、今回のフレームワークが最先端の手法よりも優れていることを実証したという。
顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）
顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）
顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）
顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
Ankerのスピーカーでまた発火事故 過去にも5回の火災で回収・交換中 消費者庁「直ちに使用中止を」
-
2
「さくらのレンタルサーバ」に不正アクセス 583アカウントが不正ログイン被害、個人データなど漏えいのおそれ
-
3
「うんこミュージアム」公式サイト改ざん被害、個人情報4人分流出のおそれ
-
4
両毛システムズ、社内システムに不正アクセス被害
-
5
千葉水害、半数以上が“ハザードマップの浸水エリア外”で起きていた ウェザーニューズ調査より
-
6
LINE着せかえ“デザイン崩れ”問題、返金フォーム設置 ただ「返金できない場合も」
-
7
「Claude」の“見えない透かし”、Anthropicが仕組みを説明 「完全な書き直しなら消える」
-
8
スマートリングは日本でブレイクするか 高精度な睡眠モニターと分析の「Ultrahuman Ring AIR」を試す
-
9
Ankerの充電式スピーカーで発火事故 異物混入で自主回収中の製品 消費者庁「直ちに使用を中止して」
-
10
河川監視のライブカメラ水没か――千葉豪雨、村田川の映像が水中に 「こんなの初めて見た」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR