動画内の顔を後から「SNOW」みたいに編集できるAI技術 Adobeなどの米国チームが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米UC Berkeley、米Carnegie Mellon University、米Adobe Research、米MIT CSAILによる研究チームが開発した「GANgealing: GAN-Supervised Dense Visual Alignment」は、動画内の人物や動物の顔にステッカーなどをピタッと貼り付いているように編集できる深層学習を用いた技術だ。

　この手法を用いると、映像内で自由に動く人の顔にヒゲやステッカーを貼り付けたり、猫の顔にメガネやマスクを貼り付けたりなどの加工が行える。精度が高く、対象が動いても加工がズレたりせず追跡しながらして、表現する。

この手法を用いて人の顔にヒゲ、猫の顔にメガネを加工した例

　「GANgealing」と呼ぶ今回のフレームワークは、識別モデルとそのGAN（Generative Adversarial Network）で生成した学習データをエンドツーエンドで共同学習する。このフレームワークのポイントは、非整列な画像データから平均的な整列された画像データを取得するところにある。

　具体的には、猫のデータセットを用いた場合、顔の向きや角度大きさなどがバラバラな猫の画像群に対し、ほぼ同じ大きさで顔が正面を向くように整列（平均化）させた画像を取得する。

　似た顔の大きさで似た位置に配置された大量の猫のポートレート写真が手に入るので、これに対して顔フィルターを対応付けすることで、元の画像に戻した際の顔の位置や領域を正確に抽出することができる。

　そのため、カテゴリーごとの1枚の画像（平均的な変形画像）にアノテーション（ヒゲやステッカーなど）を付けることで、ユーザーは同じカテゴリーの動画で自由に動く対象の顔に対して位置を合わせながら編集を反映させることができる。

左端の平均的な変形画像にアノテーションするだけで、同カテゴリーの画像に編集を反映させられる

　これによって対象の顔にピタッと貼りついたかのように表現できるが、今回の場合は猫に対してのみ表現が可能で、人物や犬、車など、別の対象物に行いたい場合は別途データが必要になる。

　そこで研究チームは、鳥や馬などを含む8つの異なるデータセット（LSUN Bicycles、Cats、Cars、Dogs、Horses and TVs、In-The-Wild CelebA、CUB）上でデータの整列と顔フィルターの対応付けを行った。その結果、どれも良好な結果を達成し、その有効性を示した。

Source and Image Credits: Peebles, William, et al. “GAN-Supervised Dense Visual Alignment.” arXiv preprint arXiv:2112.05143 (2021).