Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米Disney Researchとスイス連邦工科大学チューリッヒ校による研究チームが開発した「High-Resolution Neural Face Swapping for Visual Effects」は、動画内の顔を別の顔に置き換える深層学習ベースのアルゴリズムだ。光やコントラストも反映し、100万画素の解像度で出力する。
動画内の人物の特徴を保持しながら、顔だけを転移させる手法は、深層学習を用いた手法で大きな成果を出しているが、メモリの制限、学習手順の不安定性、データサンプルの選択などで、高解像度画像の生成が困難な場合が多い。
今回の手法は、顔の入れ替えを高解像度で写実的に行う教師なし学習アーキテクチャだ。コントラストと光(低周波照明)を維持する合成ステップと、時間的に安定したビデオシーケンスを生成するためのランドマーク安定化アルゴリズムを含む。
まず、ターゲット画像から検出した顔のランドマークを特定し、1024×1024の解像度に正規化する。次に正規化された顔をネットワークに投入し、ソース画像を基にしたマスクを出力し保存。最後にソース画像の顔をターゲット画像の顔領域に合成。画像間の照明条件が大きく異なっている場合は、継ぎ目を自然にするため、さらにコントラスト量を調整して統合する。
このようにして学習したモデルは、高解像度での操作時に発生するゆがみや時間的不安定性、データ中の照明条件が異なる場合で起こる多くの問題を克服し、高解像度で写実的な合成画像が生成できたとしている。
関連記事
- プロジェクションマッピングで硬いものでも「ぷるんぷるん」 東大「ElaMorph Projection」開発
弾力があるかのように見せかける技術だが、その映像をリアルタイムでレンダリングしている。 - オンライン飲み会で「お酌」、乾杯も再現する「そそぎそそがせ」 阪大が開発
一緒に飲む相手がそこにいなくても大丈夫。 - 「自分くすぐり」でストレス緩和? 他人にくすぐられている感覚得られる「くすぐってみ〜な」を奈良先端大が開発
VRとゴム手袋を応用して、自分でやってもくすぐったくなるそうだ。 - “内なる感情”をARで可視化する「Neo-Noumena」
相手の周りに感情を示す図形が浮かぶ。その助けによってコミュニケーションが改善されるとという。 - 動きで色が変わるナノフィルム “カメレオンの肌”も再現可能?
このフィルムを巻き付ければ、自在に色を変えられる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.