このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国・北京大学と米テキサスA&M大学の研究チームが開発した「Deep Plastic Surgery」は、ユーザーの手描きスケッチからリアルな顔画像の生成とインタラクティブな編集ができるフレームワークだ。
スケッチベースの画像編集はこれまでも研究されてきたが、訓練用スケッチの収集が難しいため、代わりにカラー画像から検出のエッジマップを用いてモデルを学習してきた。その結果、スケッチとエッジマップとの構造的な不一致による不安定な出力が多かった。
今回の手法では、手描きスケッチ自体を深層学習ネットワークに直接与えて顔画像を生成するのではなく、手描きスケッチをエッジマップに変換し、エッジマップからリアルな顔を合成する。
この発想は、画家が絵を描くときの描画プロセスに触発されている。絵を描く場合、最初に対象物の形状をイメージし、多くの冗長な線を含む粗いラフスケッチから描き始める。それから線の合体や、細部の微調整、ミスの修正などをして徐々に最終的な線画を決定する。これは粗い線から細かく正確な線への描画プロセスであり、手描きのラフスケッチからエッジマップへのプロセスと似ている。
このやり方を今回のフレームワークに採用することで、学習時はスケッチデータを必要とせず、エッジマップとカラー画像のみで効果的に行える。実行時は手描きスケッチを入力に、リアルな顔を生成できるようになる。
出力結果の比較実験では、画像編集の視覚的品質とユーザーの制御性を向上させる上で、今回のフレームワークが最先端の手法よりも優れていることを実証したという。
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR