動画内の顔を後から「SNOW」みたいに編集できるAI技術 Adobeなどの米国チームが開発:Innovative Tech
米Adobe Researchなどの米国の研究チームは、動画内の人物や動物の顔にステッカーなどをピタッと貼り付いているように編集できる深層学習を用いた技術を開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米UC Berkeley、米Carnegie Mellon University、米Adobe Research、米MIT CSAILによる研究チームが開発した「GANgealing: GAN-Supervised Dense Visual Alignment」は、動画内の人物や動物の顔にステッカーなどをピタッと貼り付いているように編集できる深層学習を用いた技術だ。
この手法を用いると、映像内で自由に動く人の顔にヒゲやステッカーを貼り付けたり、猫の顔にメガネやマスクを貼り付けたりなどの加工が行える。精度が高く、対象が動いても加工がズレたりせず追跡しながらして、表現する。
「GANgealing」と呼ぶ今回のフレームワークは、識別モデルとそのGAN(Generative Adversarial Network)で生成した学習データをエンドツーエンドで共同学習する。このフレームワークのポイントは、非整列な画像データから平均的な整列された画像データを取得するところにある。
具体的には、猫のデータセットを用いた場合、顔の向きや角度大きさなどがバラバラな猫の画像群に対し、ほぼ同じ大きさで顔が正面を向くように整列(平均化)させた画像を取得する。
似た顔の大きさで似た位置に配置された大量の猫のポートレート写真が手に入るので、これに対して顔フィルターを対応付けすることで、元の画像に戻した際の顔の位置や領域を正確に抽出することができる。
そのため、カテゴリーごとの1枚の画像(平均的な変形画像)にアノテーション(ヒゲやステッカーなど)を付けることで、ユーザーは同じカテゴリーの動画で自由に動く対象の顔に対して位置を合わせながら編集を反映させることができる。
これによって対象の顔にピタッと貼りついたかのように表現できるが、今回の場合は猫に対してのみ表現が可能で、人物や犬、車など、別の対象物に行いたい場合は別途データが必要になる。
そこで研究チームは、鳥や馬などを含む8つの異なるデータセット(LSUN Bicycles、Cats、Cars、Dogs、Horses and TVs、In-The-Wild CelebA、CUB)上でデータの整列と顔フィルターの対応付けを行った。その結果、どれも良好な結果を達成し、その有効性を示した。
Source and Image Credits: Peebles, William, et al. “GAN-Supervised Dense Visual Alignment.” arXiv preprint arXiv:2112.05143 (2021).
関連記事
- マインクラフトの世界をリアルな世界に変換する「GANcraft」 NVIDIAなどが開発
NVIDIAと米Cornell Universityの研究チームは、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法を開発した。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。 - 古い白黒映画を“昨日撮影したかのように”AIが修復 フィルムノイズを除去しカラー
香港城市大学と米Microsoft Research、Microsoft Cloud+AIによる研究チームは、劣化の激しい古い白黒映画を修復しカラー映像に変換する深層学習フレームワークを開発した。古い映像にある独特のフィルムノイズなどを修復し、色付けを行う。 - キャラクターを逆光背景に溶け込むように合成できるシステム 中京大が開発
中京大学濱川研究室の研究チームは、逆光の背景画像と前景となるキャラクターを調和するように合成する自動システムを開発した。背景の光源に合わせて、陰影・輝度値・色を調整し背景画像に溶け込むようにキャラクターを加工する。 - テキストから御朱印を自動生成するシステム、筑波大が開発 寺社1000カ所以上から御朱印収集、データ化
筑波大学落合研究室の研究チームは、テキストから御朱印を自動生成する学習ベースのシステムを開発。訓練用のデータセットは、寺社1000カ所以上を訪問し取得した御朱印を基に大規模にデータ化した。 - 映像を自由にデコる編集技術 物体が動いても引っ付いて離れない 米Adobeらが開発
イスラエルのWeizmann Institute of Scienceと米Adobe Researchの研究チームは、映像内の動く領域にぴったり貼り付いているかのように画像などを合成できる編集技術を開発した。歩く人のワンピースに花柄を付け加えたり、ベンチを虹色にしたりを後から編集できる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.