Innovative Tech
ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。
この手法で左端の入力画像を変換した出力結果
画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を捉えきれず、画質も不十分だ。
この手法では、1枚の参照画像から近似するペア画像データを先に生成し、それを学習に使用する方法でこの問題に取り組む。具体的には、1枚の参照スタイル画像をGANで反転して実写に対する潜在変数を取得し、Random Style Mixingを行うことで近似のペア画像データセットを作成する。
得られた近似のペア画像データセットには、さまざまな色特性を持つサブセットも含まれる。ペア画像データセットを生成した後は、事前に学習させたStyleGANを微調整する
近似のペア画像データセットを作成するパイプライン
変換した顔画像を評価するために、先行研究の類似手法（StyleGAN -NADA、BlendGAN）で出力した画像と比べた結果、他の類似手法よりもこの手法の方が、入力画像の顔のアイデンティティーを保持したまま、目の形や線の太さなどの詳細な特徴を捉えた画像を生成できると分かった。
この手法の出力結果と、StyleGAN -NADAとBlendGANで出力した結果を比較した図
Webブラウザ上で任意の顔画像をジョジョ風などに変換できるデモサイトも公開されている。試してみると、以下のような結果が出力された。
デモサイトの出力結果
Chong, Min Jin, and David Forsyth. "JoJoGAN: One Shot Face Stylization." arXiv preprint arXiv:2112.11641 (2021)
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
新作「鬼武者」にハマったマンガ家が熱弁する、他とは違う“パリィ”の魅力とは？
-
2
経営「AIでラクして早く帰って」→社員「帰らない」 工数最大9割減のDeNAも悩むAI効率化の壁
-
3
“自動で耳コピ”アプリ、ヤマハが無料公開 音源読み込み→3分でピアノ譜に
-
4
肖像画をChatGPTに読み込ませて出力→加工して納品 委託先による著作権侵害で、小学館「サライ.jp」が謝罪
-
5
YouTube、収益化基準を2027年に大幅引き上げへ 新規参加条件が従来の2倍に
-
6
トランプ大統領、「AI Force」創設を表明 「AI脅威論はでっちあげだ」
-
7
河川監視のライブカメラ水没か――千葉豪雨、村田川の映像が水中に 「こんなの初めて見た」
-
8
Googleの「Gemini」も能力テスト中に実在企業3社に侵入──WSJ報道
-
9
レベルファイブ、AI疑惑に回答 新「妖怪ウォッチ」の“不自然な電線”は手描き、一部は人的ミス……修正版公開へ
-
10
幻の「ちいかわ」コラボ第3弾皿、捨てちゃうの？ くら寿司に聞いてみた
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR