Innovative Tech
ディズニー、高解像度で顔を入れ替える深層学習技術を開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米Disney Researchとスイス連邦工科大学チューリッヒ校による研究チームが開発した「High-Resolution Neural Face Swapping for Visual Effects」は、動画内の顔を別の顔に置き換える深層学習ベースのアルゴリズムだ。光やコントラストも反映し、100万画素の解像度で出力する。
本手法の出力結果。左端がターゲット画像、下列はソース画像
動画内の人物の特徴を保持しながら、顔だけを転移させる手法は、深層学習を用いた手法で大きな成果を出しているが、メモリの制限、学習手順の不安定性、データサンプルの選択などで、高解像度画像の生成が困難な場合が多い。
今回の手法は、顔の入れ替えを高解像度で写実的に行う教師なし学習アーキテクチャだ。コントラストと光（低周波照明）を維持する合成ステップと、時間的に安定したビデオシーケンスを生成するためのランドマーク安定化アルゴリズムを含む。
本手法のパイプライン
まず、ターゲット画像から検出した顔のランドマークを特定し、1024×1024の解像度に正規化する。次に正規化された顔をネットワークに投入し、ソース画像を基にしたマスクを出力し保存。最後にソース画像の顔をターゲット画像の顔領域に合成。画像間の照明条件が大きく異なっている場合は、継ぎ目を自然にするため、さらにコントラスト量を調整して統合する。
このようにして学習したモデルは、高解像度での操作時に発生するゆがみや時間的不安定性、データ中の照明条件が異なる場合で起こる多くの問題を克服し、高解像度で写実的な合成画像が生成できたとしている。
本手法の出力結果を類似研究と比較した表
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
日本人の大腸がん、約半数に“腸内細菌の毒素”が関与 40歳以下の発症は7割 東大・阪大が200人を全ゲノム解析
-
2
「お前たちのクラウドはわれわれのもの」 IDCFクラウドの管理画面に出た攻撃者のメッセージ 内容に運営元は
-
3
「コミューン」不正アクセスでLINEヤフー、Sansan、パナソニックでも会員情報漏えいの可能性
-
4
履歴書100通に1通「AIだけが読める文字」 20万件調査でわかった“就活ハック”の手口 米研究
-
5
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
6
山中で遭難の16歳少年、登山計画に生成AI「Claude」利用 救助隊は「ルートの妄信」警鐘
-
7
SBI証券、Google・Appleパスキー乗っ取り被害「確認されていない」 注意喚起は他社事案
-
8
JR東日本、「えきねっと」「ビューカード」などで漏えいか メルアドなど最大609万件 IDCFへの不正アクセスで【追記あり】
-
9
ChatGPT、無料版を含む全ユーザーに「GPT-6」 回答内に“操作できる画面”を生成する「Intelligent UI」搭載
-
10
OpenAI、安全性研究者3人を解雇 本人らは「安全性を優先したため」と主張、同社は「機密情報の扱いに関する規定違反」と説明
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR