Innovative Tech
ディズニー、高解像度で顔を入れ替える深層学習技術を開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米Disney Researchとスイス連邦工科大学チューリッヒ校による研究チームが開発した「High-Resolution Neural Face Swapping for Visual Effects」は、動画内の顔を別の顔に置き換える深層学習ベースのアルゴリズムだ。光やコントラストも反映し、100万画素の解像度で出力する。
本手法の出力結果。左端がターゲット画像、下列はソース画像
動画内の人物の特徴を保持しながら、顔だけを転移させる手法は、深層学習を用いた手法で大きな成果を出しているが、メモリの制限、学習手順の不安定性、データサンプルの選択などで、高解像度画像の生成が困難な場合が多い。
今回の手法は、顔の入れ替えを高解像度で写実的に行う教師なし学習アーキテクチャだ。コントラストと光（低周波照明）を維持する合成ステップと、時間的に安定したビデオシーケンスを生成するためのランドマーク安定化アルゴリズムを含む。
本手法のパイプライン
まず、ターゲット画像から検出した顔のランドマークを特定し、1024×1024の解像度に正規化する。次に正規化された顔をネットワークに投入し、ソース画像を基にしたマスクを出力し保存。最後にソース画像の顔をターゲット画像の顔領域に合成。画像間の照明条件が大きく異なっている場合は、継ぎ目を自然にするため、さらにコントラスト量を調整して統合する。
このようにして学習したモデルは、高解像度での操作時に発生するゆがみや時間的不安定性、データ中の照明条件が異なる場合で起こる多くの問題を克服し、高解像度で写実的な合成画像が生成できたとしている。
本手法の出力結果を類似研究と比較した表
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「Xが情報収集に役立たない……」熊本地震で不満の声続出 「Twitterを返して」
-
2
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
3
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
4
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
5
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
6
Z世代に聞く次の流行、「AIイラスト」が1位に 「Claude Code」も上位
-
7
東野圭吾さん死去、Xなどで追悼相次ぐ 「ガリレオ」など数々の人気作、エンジニアから転身
-
8
NVIDIAやMicrosoftなど30社超、オープンAIの防御ツール共同開発の「Open Secure AI Alliance」設立
-
9
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
10
「あ、その情報メモしたい！」を叶えるワイヤレスイヤフォン、Nothing「Ear (3a)」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR