Innovative Tech
手描きスケッチからリアルな顔を生成 深層学習に画家の手法導入し改善
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国・北京大学と米テキサスA&M大学の研究チームが開発した「Deep Plastic Surgery」は、ユーザーの手描きスケッチからリアルな顔画像の生成とインタラクティブな編集ができるフレームワークだ。
手描きのラフスケッチからリアルな顔を生成する
スケッチベースの画像編集はこれまでも研究されてきたが、訓練用スケッチの収集が難しいため、代わりにカラー画像から検出のエッジマップを用いてモデルを学習してきた。その結果、スケッチとエッジマップとの構造的な不一致による不安定な出力が多かった。
今回の手法では、手描きスケッチ自体を深層学習ネットワークに直接与えて顔画像を生成するのではなく、手描きスケッチをエッジマップに変換し、エッジマップからリアルな顔を合成する。
手書きスケッチからエッジマップを生成し、リアルな顔を合成する
この発想は、画家が絵を描くときの描画プロセスに触発されている。絵を描く場合、最初に対象物の形状をイメージし、多くの冗長な線を含む粗いラフスケッチから描き始める。それから線の合体や、細部の微調整、ミスの修正などをして徐々に最終的な線画を決定する。これは粗い線から細かく正確な線への描画プロセスであり、手描きのラフスケッチからエッジマップへのプロセスと似ている。
フレームワークの概要図
このやり方を今回のフレームワークに採用することで、学習時はスケッチデータを必要とせず、エッジマップとカラー画像のみで効果的に行える。実行時は手描きスケッチを入力に、リアルな顔を生成できるようになる。
出力結果の比較実験では、画像編集の視覚的品質とユーザーの制御性を向上させる上で、今回のフレームワークが最先端の手法よりも優れていることを実証したという。
顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）
顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）
顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）
顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
なぜ酒蔵の許諾なしに？ 「VTuberコラボ日本酒」騒動、主催者が経緯説明 仲介者による調整で「準備進んでいると認識」
-
2
かっぱ寿司「配布前のコラボグッズ、フリマで買わないで」 プリキュアコラボ発表日に注意喚起
-
3
「食事量は1日1200kcal以下、でも肥満」な人を14日間追跡調査 痩せない理由は……米コロンビア大などの研究
-
4
本物そっくり“AI生成レシート“が経費精算の脅威に マネフォ「自力で見破るのは難しい」 企業はどう備える？
-
5
「菜の花がおかしい」――イラストレーター制作うたうマラソン大会ポスターに指摘相次ぐ 事務局がAI使用明かす【訂正あり】
-
6
「ペンギンを返して」→「3匹全部採用して」 批判殺到のSuica新キャラ、ファンアートが空気を変えた？ SNSの声
-
7
藤井風のリサイタル、公式サイトがインターネット老人会すぎると話題 公民館のチラシみたいだけど東京ドーム開催
-
8
「iPhone Duo」純正ケース話題、「面白いけど高い」……1万4800円と2万4800円
-
9
「ランジェリーパープルじゃない」「買おうと思ってたのに」 iPhone 18 Pro／Pro Maxの色に落胆の声
-
10
松本デジタル相、24.6万件漏えい可能性について説明 「既知の脆弱性を対応前に悪用」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR