Innovative Tech

“実在しないリアルな顔”を自在に編集できる「StyleRig」　StyleGANで生成した顔の向き、表情、照明を制御

公開 2020年08月05日 13時14分

更新 2024年04月02日 11時46分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　独MPI Informatics、仏Technicolor、仏Valeo.ai、米スタンフォード大学による研究チームが開発した「StyleRig」は、機械学習が生成したリアルな、だが実在しない人物の顔（静止画）を自在に編集できるシステムだ。顔の向きや表情、光の当たり方などを変更できる。

機械学習で生成したリアルな顔画像を、FaceRigアプリのように頭部ポーズ、表情、照明をコントロールできる

　今回の手法は、GAN（Generative Adversarial Network）を用い、リアルな顔画像を生成するNVIDIAの「StyleGAN」をベースにしている。 StyleGANは、高解像度の人物画像や2つの顔を組み合わせた合成画像を生成するスタイル変換ネットワークで、実在しないがリアルな顔を出力する技術として、一部で話題になった。

　だが、StyleGANを用いれば写実的な顔画像を生成できるものの、頭部にポーズをつけたり、表情、照明を変えたりと、生成した画像を後から制御することはできない。

　今回の手法では、StyleGANで出力されたリアルな顔に対して、CGアニメーションでいうリギングのような制御ができる仕組みを提供。頭部の向きや表情、光の当たり方をパラメータで編集できるようにする。

　モデルはRigNetに基づいて、StyleGANで生成した顔画像をリギング制御をするように学習する。StyleGANのネットワークは事前に学習され、重みは固定されている。自己監視で学習するため、追加の画像や手動のアノテーションは必要としない。微分可能レンダラーを用い、算出した差分を画像領域における損失として定義している。