「誰がモデルか、なんとなく分かる」アニメ風の顔画像に変換するAI、台湾の研究チームが開発:Innovative Tech
国立台湾科技大学の研究チームは、現実の顔のアイデンティティーを維持したままアニメ風の顔画像に変換するGANを使ったシステムを開発した。実写感を排除しているのに、元の顔の原型をできるだけ残した点が特徴だ。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
国立台湾科技大学の研究チームが開発した「Cartoon Style Transfer in Faces using GANs」は、現実の顔のアイデンティティーを維持したままアニメ風の顔画像に変換するGAN(Generative Adversarial Network)を使った手法だ。実写感を排除しているのに、元の顔の原型をできるだけ残した点が特徴だ。
先行研究でも実写の顔画像からアニメ風の顔画像にスタイル変換するGANを使ったモデルが多数報告されている。TikTokやSnapchatなどの多くのモバイルアプリでも顔をアニメ化できるカートゥーン・フィルター機能を提供している。
これらの問題点は、転写後の顔がアイデンティティーを認識できにくいところにある。顔の原型が崩れアニメよりの顔に変換され、誰だか分からない状態だ。この課題に向き合い、このモデルでは、転写後も誰だか分かる状態でアニメ風の顔に変換することを目的としたアーキテクチャを提案する。
提案モデルは、Swaping Autoencoder for Deep Image Manipulation(SwapAE)の事前学習モデルを使い、画像を構造コードとテクスチャコードに分けて符号化し、その2つのコードによって結果画像を構成する。
他の多くのGANモデルが生成器全体を学習するのに対し、このモデルは生成器の全層ではなく第6層から第8層のみを学習するようにアーキテクチャを変更している。SwapAEのオリジナル損失関数をわずかに調整し、スタイライゼーション損失を追加、テクスチャコードを生成器の最上層に与えている。
出力される画像は、輪郭や髪形、鼻筋、目や口などの各種パーツの大きさや形状など、そのほとんどが元の実写画像に沿っており、髪や肌、目の色、質感などはアニメ画像のスタイルに変換する。これにより、アニメ風に変換されているのに、原型の雰囲気が認識できる状態の画像に仕上がる。
関連記事
- ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。 - 月面探査機「玉兔2」による月の裏側の調査報告 暗い緑色に光るゲル状物質を発見
中国やカナダ、ドイツの研究チームは、月面探査機「玉兔2」(Yutu-2)による月の裏側の移動探査について、初期の2年間で行った探査内容や分析結果を詳細に書き記した調査書を発表した。主に、25日間の探査記録(CE-4ミッション)をベースに報告する。 - 動画中の顔を「若返らせる」「常に笑顔にする」編集技術 イスラエルチームが開発
イスラエルのテルアビブ大学の研究チームは、実写映像内の人物の顔を編集できる深層学習を使った技術を開発。元動画の動きのまま、その顔のアイデンディティを維持しつつ年齢を変えるなどの編集ができる。 - 「頭をなでる」「ビンタ」「ハグの拒否」などアバター同士の接触を滑らかにするVR技術、東工大が開発
東京工業大学長谷川研究室の研究チームは、バーチャル空間でアバター同士もしくは3Dオブジェクトとの接触の際に、両者が自然な動きで表現できる技術を開発した。頭をなでる、ハグするなどの動きを滑らかなリアクションで表現する。 - 英語ネイティブとの発音の違いを深層学習で可視化 ソニーCSLが開発
ソニーコンピュータサイエンス研究所(ソニーCSL)京都研究室の研究チームは、非母国語の学習において、学習者の発話とネイティブスピーカーの発話の違いを深層学習を使い分析し、視覚的に提示するシステムを開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.