Innovative Tech
手描きスケッチからリアルな顔を生成 深層学習に画家の手法導入し改善
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国・北京大学と米テキサスA&M大学の研究チームが開発した「Deep Plastic Surgery」は、ユーザーの手描きスケッチからリアルな顔画像の生成とインタラクティブな編集ができるフレームワークだ。
手描きのラフスケッチからリアルな顔を生成する
スケッチベースの画像編集はこれまでも研究されてきたが、訓練用スケッチの収集が難しいため、代わりにカラー画像から検出のエッジマップを用いてモデルを学習してきた。その結果、スケッチとエッジマップとの構造的な不一致による不安定な出力が多かった。
今回の手法では、手描きスケッチ自体を深層学習ネットワークに直接与えて顔画像を生成するのではなく、手描きスケッチをエッジマップに変換し、エッジマップからリアルな顔を合成する。
手書きスケッチからエッジマップを生成し、リアルな顔を合成する
この発想は、画家が絵を描くときの描画プロセスに触発されている。絵を描く場合、最初に対象物の形状をイメージし、多くの冗長な線を含む粗いラフスケッチから描き始める。それから線の合体や、細部の微調整、ミスの修正などをして徐々に最終的な線画を決定する。これは粗い線から細かく正確な線への描画プロセスであり、手描きのラフスケッチからエッジマップへのプロセスと似ている。
フレームワークの概要図
このやり方を今回のフレームワークに採用することで、学習時はスケッチデータを必要とせず、エッジマップとカラー画像のみで効果的に行える。実行時は手描きスケッチを入力に、リアルな顔を生成できるようになる。
出力結果の比較実験では、画像編集の視覚的品質とユーザーの制御性を向上させる上で、今回のフレームワークが最先端の手法よりも優れていることを実証したという。
顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）
顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）
顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）
顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
Google、プライバシーポリシーに「Gmail」「Googleフォト」のデータを広告に使う例外を追加 回避方法は
-
2
「年齢は合ってますが、人間ではありません」 6歳の飼い猫に届いた“進研ゼミの案内” なぜ届いたのかベネッセに聞いた
-
3
「5年でバッテリーが使い物にならなくなる」は本当か テスラ「モデル3」5年目点検で分かったこと
-
4
GMO熊谷代表「社内ホワイトハッカーが事前に指摘」も対策遅れ、国に「能動的サイバー防御」要請 「責任転嫁では」SNSで批判も
-
5
グッスマに不正アクセス、公式EC閉鎖 会員の住所や注文履歴など漏えいか 再開目処立たず
-
6
ジョーシンへの不正アクセス、最大623万件漏えいか 運転免許証2件・マイナカード1件なども
-
7
野村総研、サイバー攻撃時の「能動的なシステム停止」を支援する新サービス
-
8
タイムズカー流出で顧客らが損害賠償求め運営会社提訴へ サイト開設の弁護士が記者会見
-
9
Xの「いいね」長押しで1ドル送金 マスク氏が“投げ銭”機能を予告
-
10
「漏えい」の一言で素通り客が振り返る──相次ぐ情報流出の中で開幕のセキュリティ展示会 来場者の態度も激変
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR