ITmedia NEWS > AI+ >

“実在しないリアルな顔”を自在に編集できる「StyleRig」 StyleGANで生成した顔の向き、表情、照明を制御Innovative Tech

» 2020年08月05日 13時13分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 独MPI Informatics、仏Technicolor、仏Valeo.ai、米スタンフォード大学による研究チームが開発した「StyleRig」は、機械学習が生成したリアルな、だが実在しない人物の顔(静止画)を自在に編集できるシステムだ。 顔の向きや表情、光の当たり方などを変更できる。

photo 機械学習で生成したリアルな顔画像を、FaceRigアプリのように頭部ポーズ、表情、照明をコントロールできる

 今回の手法は、GAN(Generative Adversarial Network)を用い、リアルな顔画像を生成するNVIDIAの「StyleGAN」をベースにしている。 StyleGANは、高解像度の人物画像や2つの顔を組み合わせた合成画像を生成するスタイル変換ネットワークで、実在しないがリアルな顔を出力する技術として、一部で話題になった。

 だが、StyleGANを用いれば写実的な顔画像を生成できるものの、頭部にポーズをつけたり、表情、照明を変えたりと、生成した画像を後から制御することはできない。

 今回の手法では、StyleGANで出力されたリアルな顔に対して、CGアニメーションでいうリギングのような制御ができる仕組みを提供。頭部の向きや表情、光の当たり方をパラメータで編集できるようにする。

 モデルはRigNetに基づいて、StyleGANで生成した顔画像をリギング制御をするように学習する。StyleGANのネットワークは事前に学習され、重みは固定されている。自己監視で学習するため、追加の画像や手動のアノテーションは必要としない。微分可能レンダラーを用い、算出した差分を画像領域における損失として定義している。

photo 本手法のアーキテクチャ

 学習したモデルを評価するため、頭部のポーズ、表情、照明でパラメータ制御をそれぞれ実験した。結果は良好で、StyleGANで出力した顔画像の質を維持したまま、自然な変更を可能にしている。また、これら3つの要素を同時に変更することも可能。作成したパラメーターをコピーして他の顔に転写することもできる。

photo 上段は、ソース画像とターゲット画像を合成した StyleGANの出力結果。下段はその結果に対して、頭部ポーズと表情、そして照明を変更した出力結果
photo,左端列のソース画像(頭部ポーズと表情、照明)を、上段行のターゲット画像に転写し出力した結果

Copyright © ITmedia, Inc. All Rights Reserved.