Innovative Tech

手書きスケッチがリアルな髪形に　イラストから髪形を自動生成するAI、香港の研究チームらが開発

公開 2021年12月15日 08時02分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　香港城市大学と香港中文大学、中国の浙江大学の研究チームが開発した「SketchHairSalon: Deep Sketch-based Hair Image Synthesis」は、プロではないユーザーがフリーハンドで描いたスケッチから、さまざまなヘアスタイルのフォトリアリスティックな髪の画像を自動生成する学習ベースのネットワークだ。

　顔画像の上から手描きのストロークでスケッチすることで、好きな髪形を合成できる。リアルタイムに合成するため、画像上で髪形が変わっていく様子を見ながら描いていける。色や大きさの変更も自在に可能で、三つ編みなどのパーツもあらかじめ用意されており、選択して組み合わせられる。

SketchHairSalonを用いて作成したヘアスタイルの例

　昨今、ブラウザ上で太めのブラシでペイントしたり、細いペンで手書きスケッチしたりすると、リアルタイムに風景や建物の写実的な画像が自動生成される学習ベースの技術が登場している。

　これら技術は多少違っていても違和感のない画像に仕上がる風景や建物の画像に限定されている。これが人の顔になると途端に難しくなる。少しでもずれると不自然になるからだ。その一つに、人の顔に髪の毛を合成するヘア画像合成技術がある。

　既存のヘア画像合成技術は、オリエンテーションマップからテクスチャやシェーディングの情報を予測し、ある程度のフォトリアリスティックな画像を生成する。しかし、オリエンテーションマップを使う手法は、複雑な髪の構造（髪の毛のまとまりやオクルージョンなどの大域的な情報）の再構築に対応できていない。

　この問題を解決するために、研究チームは、深層学習ネットワークにスケッチの入力を直接適応させることを試みた。ヘアスケッチ自体が希望するヘアスタイルの構造や外観、形状を局所的および全体的なレベルで描写するのに十分な情報を含んでいるからだ。

　研究では、フリーハンドで描いた髪の毛のスケッチから、フォトリアリスティックな髪の毛の画像を直接生成する2段階のフレームワークを提案する。具体的には、「スケッチからMatte（今回の場合は髪の毛全体を切り抜いた画像）への生成」と「スケッチから画像への生成」の2段階で行う。

　第1段階では、入力された髪のスケッチから髪のMatteを予測するネットワーク「S2M-Net」を学習する。第2段階では、入力したスケッチと生成したMatteから、ヘアイメージの構造と外観を背景領域と合成するためにネットワーク「S2I-Net」を学習する。

SketchHairSalonのアーキテクチャ

　これらのネットワークを教師ありで学習するために、4500個のアノテーションされた髪のスケッチと画像のペア、それに対応する髪のMatteを含む新しいデータセットを作成した。学習したモデルは、スケッチ入力のみでデザインできる直感的なインタフェースに組み込み、初心者でもさまざまなヘアスタイルをデザインできるツールに仕上げた。

　ユーザーは顔画像上にブラシでストロークするだけで、髪の毛を描き込んでいける。色や大きさの調整はもちろん、編み込みなどの描くのが難しい髪形のパーツは、何種類も用意しており選んで使用できる。ストレートやウエーブ、編み込みなど、これらを組み合わせた多様なヘアスタイルをデザインできる。

モデルを組み込んだ直感的なインタフェース

　この手法におけるデータセットとネットワークを、既存のものや代替のものと比較して、定性的・定量的に評価するために、広範な実験を行った。その結果この手法は、視覚的な自然さと髪のスケッチへの忠実さの両方の観点から、他のソリューションよりも優れていることが分かった。

　今後は、奥行きを考慮した3次元的再構成や、生成した髪の毛と背景の間での照明条件の一致、元の髪を減らす背景埋め込み方法など、よりリアルでさまざまな使い方ができるツールに進化させたいとしている。

（a）髪の毛の手描きスケッチ、（b）中間処理のMatte、（c）髪の毛を合成した画像

Source and Image Credits: Chufeng Xiao, Deng Yu, Xiaoguang Han, Youyi Zheng, and Hongbo Fu. 2021. SketchHairSalon: deep sketch-based hair image synthesis. ACM Trans. Graph. 40, 6, Article 216 (December 2021), 16 pages. DOI:https://doi.org/10.1145/3478513.3480502

印刷する