Innovative Tech

映像を自由にデコる編集技術　物体が動いても引っ付いて離れない　米Adobeらが開発

公開 2022年01月17日 08時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　イスラエルのWeizmann Institute of Scienceと米Adobe Researchの研究チームが開発した「Layered Neural Atlases for Consistent Video Editing」は、映像内の動く領域にぴったり貼り付いているかのように画像などを合成できる編集技術だ。

　例えば、歩く人のワンピースに花柄を付け加えたり、ベンチを虹色にしたりを後から編集できる。映像を再生しワンピースが揺れて変形しても、ベンチの一部が物で隠れても、自然に見えるように連続して合成する。これら編集は専門家ではないユーザーでも直感的に行えるという。

この手法の概要。ワンピースに花柄、ベンチに虹色を編集で加えている

　入力には、単眼カメラで撮影した映像と編集したい映像内の物体の粗いマスクを使用。システムでは、映像内のマスクあり物体とその他背景レイヤーに分解し、前景と背景のUV座標にマッピングする関数を計算し、レイヤーごとのRGBカラーとピクセル毎のアルファ値（透明度）を同時に推定する。

　このマッピングにより、各物体を通して元の映像をパラメータ化する。最後に、編集したレイヤーを合成し統合することで、時間的整合性のあるように再構成した映像をレンダリングする。ネットワークは、多層パーセプトロン（MLP）をベースにエンドツーエンドで行われる。

このシステムのパイプライン

　合成した映像は、スカートなどの複雑な変形や、動きに応じて変わる影や反射、前景で隠れるオクルージョンなども考慮する。例えば、スカートの上に貼り付けた花柄模様は、その動きに応じて花柄模様も変化し、あたかも貼り付いているかのように表現する。しかも、これらを3次元形状を推定せず、2次元だけで処理しているのが特徴的だろう。

　デモでは、自転車が通る道を華やかにしたり、動く鳥の質感を変更したりなど、さまざまな編集効果を付加し、その精度の高さを示した。実際に動いている出力結果は、以下の動画で確認できる。

（左端）編集したビデオフレーム（左から2番目）元のビデオフレーム（右3列）合成したビデオフレーム

Source and Image Credits: Yoni Kasten, Dolev Ofri, Oliver Wang, and Tali Dekel. 2021. Layered neural atlases for consistent video editing. ACM Trans. Graph. 40, 6, Article 210 (December 2021), 12 pages. DOI:https://doi.org/10.1145/3478513.3480546

印刷する