　香港城市大学と香港中文大学、中国の浙江大学の研究チームが開発した「SketchHairSalon: Deep Sketch-based Hair Image Synthesis」は、プロではないユーザーがフリーハンドで描いたスケッチから、さまざまなヘアスタイルのフォトリアリスティックな髪の画像を自動生成する学習ベースのネットワークだ。

　顔画像の上から手描きのストロークでスケッチすることで、好きな髪形を合成できる。リアルタイムに合成するため、画像上で髪形が変わっていく様子を見ながら描いていける。色や大きさの変更も自在に可能で、三つ編みなどのパーツもあらかじめ用意されており、選択して組み合わせられる。

SketchHairSalonを用いて作成したヘアスタイルの例

　昨今、ブラウザ上で太めのブラシでペイントしたり、細いペンで手書きスケッチしたりすると、リアルタイムに風景や建物の写実的な画像が自動生成される学習ベースの技術が登場している。

　これら技術は多少違っていても違和感のない画像に仕上がる風景や建物の画像に限定されている。これが人の顔になると途端に難しくなる。少しでもずれると不自然になるからだ。その一つに、人の顔に髪の毛を合成するヘア画像合成技術がある。

　既存のヘア画像合成技術は、オリエンテーションマップからテクスチャやシェーディングの情報を予測し、ある程度のフォトリアリスティックな画像を生成する。しかし、オリエンテーションマップを使う手法は、複雑な髪の構造（髪の毛のまとまりやオクルージョンなどの大域的な情報）の再構築に対応できていない。

　この問題を解決するために、研究チームは、深層学習ネットワークにスケッチの入力を直接適応させることを試みた。ヘアスケッチ自体が希望するヘアスタイルの構造や外観、形状を局所的および全体的なレベルで描写するのに十分な情報を含んでいるからだ。

　研究では、フリーハンドで描いた髪の毛のスケッチから、フォトリアリスティックな髪の毛の画像を直接生成する2段階のフレームワークを提案する。具体的には、「スケッチからMatte（今回の場合は髪の毛全体を切り抜いた画像）への生成」と「スケッチから画像への生成」の2段階で行う。

　第1段階では、入力された髪のスケッチから髪のMatteを予測するネットワーク「S2M-Net」を学習する。第2段階では、入力したスケッチと生成したMatteから、ヘアイメージの構造と外観を背景領域と合成するためにネットワーク「S2I-Net」を学習する。

SketchHairSalonのアーキテクチャ

　これらのネットワークを教師ありで学習するために、4500個のアノテーションされた髪のスケッチと画像のペア、それに対応する髪のMatteを含む新しいデータセットを作成した。学習したモデルは、スケッチ入力のみでデザインできる直感的なインタフェースに組み込み、初心者でもさまざまなヘアスタイルをデザインできるツールに仕上げた。

　ユーザーは顔画像上にブラシでストロークするだけで、髪の毛を描き込んでいける。色や大きさの調整はもちろん、編み込みなどの描くのが難しい髪形のパーツは、何種類も用意しており選んで使用できる。ストレートやウエーブ、編み込みなど、これらを組み合わせた多様なヘアスタイルをデザインできる。

モデルを組み込んだ直感的なインタフェース

　この手法におけるデータセットとネットワークを、既存のものや代替のものと比較して、定性的・定量的に評価するために、広範な実験を行った。その結果この手法は、視覚的な自然さと髪のスケッチへの忠実さの両方の観点から、他のソリューションよりも優れていることが分かった。

　今後は、奥行きを考慮した3次元的再構成や、生成した髪の毛と背景の間での照明条件の一致、元の髪を減らす背景埋め込み方法など、よりリアルでさまざまな使い方ができるツールに進化させたいとしている。

（a）髪の毛の手描きスケッチ、（b）中間処理のMatte、（c）髪の毛を合成した画像

Source and Image Credits: Chufeng Xiao, Deng Yu, Xiaoguang Han, Youyi Zheng, and Hongbo Fu. 2021. SketchHairSalon: deep sketch-based hair image synthesis. ACM Trans. Graph. 40, 6, Article 216 (December 2021), 16 pages. DOI:https://doi.org/10.1145/3478513.3480502

作業中に「ツンデレ」されるとやる気は高まるか？　メイドアバターで、奈良先端大が検証
奈良先端科学技術大学院大学の研究チームは、冷たい対応と優しい対応を組み合わせた動作「ツンデレ」が作業意欲にどのような影響を与えるかを検証した。
「崖から落ちたけど、壁にナイフを刺して何とか助かったぜ…」を体験できるVR、東京電機大が開発
東京電機大学松浦研究室の研究チームは、人が崖から滑落する際に、助かろうとナイフを斜面に突き立てて停止する動作を再現したVR触覚システムだ。落下から崖をナイフで刺し、しばらく引きずられて停止するまでの疑似体験を提供する。
「ポーズ」と「合言葉」がなければ開かない自動ドア、文教大が開発
文教大学川合研究室の研究チームは、音声と姿勢で認証する自動ドアの開閉システムを開発。自動ドアに設置したカメラで姿勢推定と音声認識を行い、あらかじめ決めておいたポーズと言葉が合致すれば開く。
電波を注入し、人間を充電器化　タイピングや車の運転中にスマートウォッチなどを充電
米マサチューセッツ大学の研究チームは、キーボードに触ってタイピングした際に自動でスマートウォッチのバッテリーを充電するシステムを開発。人間の体を経由して電力を供給する。
犬から人へ電話をかけられる「DogPhone」　愛犬は飼い主にどのくらい着信を入れるか検証
スコットランドのグラスゴー大学と、フィンランドのアールト大学の研究チームは、犬から人のスマートフォンへビデオ通話をかけられるボール型IoTデバイス「DogPhone」を開発。くわえて動かすことで、飼い主に電話をかけられる。