Innovative Tech

古い白黒映画を“昨日撮影したかのように”AIが修復　フィルムノイズを除去しカラー

公開 2022年04月11日 08時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　香港城市大学と米Microsoft Research、Microsoft Cloud+AIによる研究チームが開発した「Bringing Old Films Back to Life」は、劣化の激しい古い白黒映画を修復しカラー映像に変換する深層学習フレームワークだ。古い映像にある独特のフィルムノイズなどを修復し、色付けを行う。

（上段）元のフレーム、（中段）アーチファクトを除去したフレーム、（下段）さらに色付けたフレーム

　古い映画は、現代の観客の心にも響き感動を与えるが、フィルムの経年劣化による解像度の低下やアーチファクトにストレスを抱える視聴者もいるだろう。

　このような古い映画をよみがえらせるために、映画の修復技術が開発されてきたが、1コマずつ丹念に調べ、傷のレタッチ、ちらつきの修正、色付けを行うため、古いフィルム全体を修復するには膨大な時間とコストがかかる。そこで、これらの面倒な作業を全て自動で行い、古いフィルムを現代風によみがえらせるアルゴリズムが望まれる。

　この課題に対し、今回は深層学習を用いてアーチファクトの修復と色付けを自動で行う、ノイズ除去と色付けを一元化したモデルを提案する。

　このモデルでは、フレーム単位で復元を行うのではなく、似た内容が含まれる隣接するフレームから学習した隠れた情報に基づき、時間的整合性を確保しつつ各フレームのアーチファクトを修復する。あるフレームで隠された構造欠陥が、連続するフレームでその内容が明らかになる場合があるからだ。

　カラー化には少数のキーフレームのみを手動で着色し、その色を残りのフレームに伝搬させるという、キーフレームからビデオ全体へ効果的に色を伝搬させるアプローチを採用する。

　学習モデルは、時間的整合性に役立つRecurrent Neural Network（RNN）と空間的復元に役立つTransformer（Swin Transformer）の主要な2つのモジュールの組み合わせで構成する。

　広範な視覚的比較と定量的評価により、従来のベースラインよりも今回のモデルの方が合成データセットと実際の古いフィルムの両方において良好な修復を示した。さらに、他の手法よりも優れたビデオカラーライゼーションを達成した。