Innovative Tech

他人の化粧を自分に転写できるバーチャルメイク技術「PSGAN」　動画にも対応

公開 2020年07月09日 09時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　北京航空航天大学、中国科学院、シンガポール国立大学、シンガポールYITU Technologyによる研究チームが開発した「PSGAN」は、画像に写る人の顔の化粧を別の画像内の顔へ転写する、深層学習を用いた手法だ。表情やポーズがそれぞれ違っても化粧だけを転写できる。

（左）元画像（中央）参照画像（右）本手法で合成した画像

（左端）元画像（右端）参照画像（中央3列）本手法の出力結果。化粧の濃淡を調整できる

　これまでもメイクアップを異なる画像で転写する研究は行われており成果も出ていたが、ポーズや表情の違いが大きい画像間では依然として困難で、顔の向きが常に変化する動画への転移はさらに難しかった。さらに化粧の濃淡を制御できるようなカスタマイズはできず、転移する部分は指定できないなど、応用範囲は限られていた。

　これらの問題を解決するために、研究チームは今回の手法でMakeup Distill Network（MDNet）とAttentive Makeup Morphing（AMM）モジュール、Makeup Apply Network（MANet）から構成する学習ベースの新しい手法を提案した。

　まずMDNetを利用して、参照画像からメイクアップスタイルを切り離し、メイクアップマトリクスを作成する。表情やポーズに大きな不一致がある可能性を考慮してそのままでは使わず、AMMモジュールを用いて元画像と参照画像のピクセル間の対応関係を構築し、元画像に適応したメイクアップマトリクスにモーフィングする。最後に適応したメイクアップマトリクスを元画像へ転写する。