　イスラエルのWeizmann Institute of Scienceと米Adobe Researchの研究チームが開発した「Layered Neural Atlases for Consistent Video Editing」は、映像内の動く領域にぴったり貼り付いているかのように画像などを合成できる編集技術だ。

　例えば、歩く人のワンピースに花柄を付け加えたり、ベンチを虹色にしたりを後から編集できる。映像を再生しワンピースが揺れて変形しても、ベンチの一部が物で隠れても、自然に見えるように連続して合成する。これら編集は専門家ではないユーザーでも直感的に行えるという。

この手法の概要。ワンピースに花柄、ベンチに虹色を編集で加えている

　入力には、単眼カメラで撮影した映像と編集したい映像内の物体の粗いマスクを使用。システムでは、映像内のマスクあり物体とその他背景レイヤーに分解し、前景と背景のUV座標にマッピングする関数を計算し、レイヤーごとのRGBカラーとピクセル毎のアルファ値（透明度）を同時に推定する。

　このマッピングにより、各物体を通して元の映像をパラメータ化する。最後に、編集したレイヤーを合成し統合することで、時間的整合性のあるように再構成した映像をレンダリングする。ネットワークは、多層パーセプトロン（MLP）をベースにエンドツーエンドで行われる。

このシステムのパイプライン

　合成した映像は、スカートなどの複雑な変形や、動きに応じて変わる影や反射、前景で隠れるオクルージョンなども考慮する。例えば、スカートの上に貼り付けた花柄模様は、その動きに応じて花柄模様も変化し、あたかも貼り付いているかのように表現する。しかも、これらを3次元形状を推定せず、2次元だけで処理しているのが特徴的だろう。

　デモでは、自転車が通る道を華やかにしたり、動く鳥の質感を変更したりなど、さまざまな編集効果を付加し、その精度の高さを示した。実際に動いている出力結果は、以下の動画で確認できる。

（左端）編集したビデオフレーム（左から2番目）元のビデオフレーム（右3列）合成したビデオフレーム

Source and Image Credits: Yoni Kasten, Dolev Ofri, Oliver Wang, and Tali Dekel. 2021. Layered neural atlases for consistent video editing. ACM Trans. Graph. 40, 6, Article 210 (December 2021), 12 pages. DOI:https://doi.org/10.1145/3478513.3480546

「街並みが一瞬で人類滅亡後に」──Photoshopの画像ミックス機能が話題　荒廃した写真が続々ネットに
米Adobeの「Photoshop」の新しい「ニューラルフィルター」が街並みを一瞬で荒廃した画像に変えられるとTwitterで話題になっている。
トリミングではなく、写真を拡張して良い構図を提案　AIが適切な背景を自動合成
中国の南開大学とTencent AI Lab、韓国のXverseの研究チームは、写真内を切り抜くのではなく、広げる方法で被写体に合わせた構図にして出力する、深層学習を使った外向きクロッピング手法を開発した。
手書きスケッチがリアルな髪形に　イラストから髪形を自動生成するAI、香港の研究チームらが開発
香港城市大学と香港中文大学、中国の浙江大学の研究チームは、プロではないユーザーがフリーハンドで描いたスケッチから、さまざまなヘアスタイルのフォトリアリスティックな髪の画像を自動生成する学習ベースのネットワークを開発した。
1枚の顔写真から過去や未来の姿を生成　各年齢のしわや頭部をAIが予測
イスラエルのTel-Aviv Universityの研究チームは、1枚の顔写真から、その人物のアイデンティティーを維持したまま、異なる年齢の顔画像を合成する手法を開発した。頭部の形状やシワなどの肌質感の変化をリアルに再現した、年齢変換タスクを実行する。