このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
独MPI Informatics、仏Technicolor、仏Valeo.ai、米スタンフォード大学による研究チームが開発した「StyleRig」は、機械学習が生成したリアルな、だが実在しない人物の顔(静止画)を自在に編集できるシステムだ。 顔の向きや表情、光の当たり方などを変更できる。
今回の手法は、GAN(Generative Adversarial Network)を用い、リアルな顔画像を生成するNVIDIAの「StyleGAN」をベースにしている。 StyleGANは、高解像度の人物画像や2つの顔を組み合わせた合成画像を生成するスタイル変換ネットワークで、実在しないがリアルな顔を出力する技術として、一部で話題になった。
だが、StyleGANを用いれば写実的な顔画像を生成できるものの、頭部にポーズをつけたり、表情、照明を変えたりと、生成した画像を後から制御することはできない。
今回の手法では、StyleGANで出力されたリアルな顔に対して、CGアニメーションでいうリギングのような制御ができる仕組みを提供。頭部の向きや表情、光の当たり方をパラメータで編集できるようにする。
モデルはRigNetに基づいて、StyleGANで生成した顔画像をリギング制御をするように学習する。StyleGANのネットワークは事前に学習され、重みは固定されている。自己監視で学習するため、追加の画像や手動のアノテーションは必要としない。微分可能レンダラーを用い、算出した差分を画像領域における損失として定義している。
学習したモデルを評価するため、頭部のポーズ、表情、照明でパラメータ制御をそれぞれ実験した。結果は良好で、StyleGANで出力した顔画像の質を維持したまま、自然な変更を可能にしている。また、これら3つの要素を同時に変更することも可能。作成したパラメーターをコピーして他の顔に転写することもできる。
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR