他人の化粧を自分に転写できるバーチャルメイク技術「PSGAN」 動画にも対応：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　北京航空航天大学、中国科学院、シンガポール国立大学、シンガポールYITU Technologyによる研究チームが開発した 「PSGAN」は、画像に写る人の顔の化粧を別の画像内の顔へ転写する、深層学習を用いた手法だ。表情やポーズがそれぞれ違っても化粧だけを転写できる。

（左）元画像（中央）参照画像（右）本手法で合成した画像

（左端）元画像（右端）参照画像（中央3列）本手法の出力結果。化粧の濃淡を調整できる

　これまでもメイクアップを異なる画像で転写する研究は行われており成果も出ていたが、ポーズや表情の違いが大きい画像間では依然として困難で、顔の向きが常に変化する動画への転移はさらに難しかった。さらに化粧の濃淡を制御できるようなカスタマイズはできず、転移する部分は指定できないなど、応用範囲は限られていた。

　これらの問題を解決するために、研究チームは今回の手法でMakeup Distill Network（MDNet）とAttentive Makeup Morphing（AMM）モジュール、Makeup Apply Network（MANet）から構成する学習ベースの新しい手法を提案した。

　まずMDNetを利用して、参照画像からメイクアップスタイルを切り離し、メイクアップマトリクスを作成する。表情やポーズに大きな不一致がある可能性を考慮してそのままでは使わず、AMMモジュールを用いて元画像と参照画像のピクセル間の対応関係を構築し、元画像に適応したメイクアップマトリクスにモーフィングする。最後に適応したメイクアップマトリクスを元画像へ転写する。

PSGANフレームワークの説明図

　これにより学習したモデルは、表情やポーズが違う画像間でもメイクアップの転移を安定して行い、部分的なメイクアップの転写や、濃淡の調整も可能にする。

　これまでのデータセットでは正面顔のみで構成されたものしかないため、さまざまなポーズや表情、複雑な背景を持つ顔画像を含むMakeup-Wildデータセットを独自に作成し、評価を行っている。

　出力結果を類似研究と定性的に比較した結果、正面顔の場合には明確な違いが分からないものの、ポーズが違う画像間だと精度の向上がみられた。

参照画像と元画像の顔の向きが違う時の出力結果の比較図

　また静止画像だけでなく、動画にも適応した実験も行い、良好な結果を達成したという（動画での転写例）。

PSGANを動画に適応した出力結果