ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習:Innovative Tech
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。
画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を捉えきれず、画質も不十分だ。
この手法では、1枚の参照画像から近似するペア画像データを先に生成し、それを学習に使用する方法でこの問題に取り組む。具体的には、1枚の参照スタイル画像をGANで反転して実写に対する潜在変数を取得し、Random Style Mixingを行うことで近似のペア画像データセットを作成する。
得られた近似のペア画像データセットには、さまざまな色特性を持つサブセットも含まれる。ペア画像データセットを生成した後は、事前に学習させたStyleGANを微調整する
変換した顔画像を評価するために、先行研究の類似手法(StyleGAN -NADA、BlendGAN)で出力した画像と比べた結果、他の類似手法よりもこの手法の方が、入力画像の顔のアイデンティティーを保持したまま、目の形や線の太さなどの詳細な特徴を捉えた画像を生成できると分かった。
Webブラウザ上で任意の顔画像をジョジョ風などに変換できるデモサイトも公開されている。試してみると、以下のような結果が出力された。
Chong, Min Jin, and David Forsyth. "JoJoGAN: One Shot Face Stylization." arXiv preprint arXiv:2112.11641 (2021)
関連記事
- VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発 風源なしで温冷風を再現
東京大学 Human & Environment Informatics Labの研究チームは、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスを開発した。 - 実世界に溶け込むCG 空中に浮かずに配置し、光の当たり具合も適切に調整
オーストリアのグラーツ工科大学とVRVis Research Center、ニュージーランドのオタゴ大学の研究チームは、実世界に溶け込むようにバーチャルオブジェクトをレンダリングする技術を開発した。 - 無表情だと誤解されがちな人向け「人工眉毛付きメガネ型デバイス」 7種類の感情を眉毛で支援
公立はこだて未来大学などの研究チームは、人工眉毛の形状が多様に変化することで表情を拡張する眼鏡型ウェアラブルデバイスを開発した。 - VTuberの動きをオーバーリアクションに自動変換 中の人の表情などをアニメーションに反映
米パデュー大学の研究チームは、バーチャルYouTuber(VTuber)の配信において、ストリーマーの実際の動きよりも表現豊かな動きとして拡張し出力するシステムを開発。ストリーマーのトラッキングから得た音声や表情などに基づいてアニメーション生成する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.