　香港城市大学と米Microsoft Research、Microsoft Cloud+AIによる研究チームが開発した「Bringing Old Films Back to Life」は、劣化の激しい古い白黒映画を修復しカラー映像に変換する深層学習フレームワークだ。古い映像にある独特のフィルムノイズなどを修復し、色付けを行う。

（上段）元のフレーム、（中段）アーチファクトを除去したフレーム、（下段）さらに色付けたフレーム

　古い映画は、現代の観客の心にも響き感動を与えるが、フィルムの経年劣化による解像度の低下やアーチファクトにストレスを抱える視聴者もいるだろう。

　このような古い映画をよみがえらせるために、映画の修復技術が開発されてきたが、1コマずつ丹念に調べ、傷のレタッチ、ちらつきの修正、色付けを行うため、古いフィルム全体を修復するには膨大な時間とコストがかかる。そこで、これらの面倒な作業を全て自動で行い、古いフィルムを現代風によみがえらせるアルゴリズムが望まれる。

　この課題に対し、今回は深層学習を用いてアーチファクトの修復と色付けを自動で行う、ノイズ除去と色付けを一元化したモデルを提案する。

　このモデルでは、フレーム単位で復元を行うのではなく、似た内容が含まれる隣接するフレームから学習した隠れた情報に基づき、時間的整合性を確保しつつ各フレームのアーチファクトを修復する。あるフレームで隠された構造欠陥が、連続するフレームでその内容が明らかになる場合があるからだ。

　カラー化には少数のキーフレームのみを手動で着色し、その色を残りのフレームに伝搬させるという、キーフレームからビデオ全体へ効果的に色を伝搬させるアプローチを採用する。

　学習モデルは、時間的整合性に役立つRecurrent Neural Network（RNN）と空間的復元に役立つTransformer（Swin Transformer）の主要な2つのモジュールの組み合わせで構成する。

　広範な視覚的比較と定量的評価により、従来のベースラインよりも今回のモデルの方が合成データセットと実際の古いフィルムの両方において良好な修復を示した。さらに、他の手法よりも優れたビデオカラーライゼーションを達成した。

Source and Image Credits: Wan, Ziyu, et al. "Bringing Old Films Back to Life." arXiv preprint arXiv:2203.17276 (2022).

「当時もこんな空だったのかな」──カラー化した原爆写真がネットで反響　AIと人力で戦時中などの写真を色付ける「記憶の解凍」
広島と長崎に投下された原爆の“きのこ雲”のカラー化画像がTwitterに投稿され、注目された。「記憶の解凍」という活動の一環で、AIツールと戦争体験者の証言、Twitterのコメントなどを反映してカラー化している。活動に取り組む、東京大学大学院の渡邉英徳教授に取材した。
お久しぶりか、初めましてか――“AI美空ひばり”に見る「デジタル故人」との付き合い方
デジタル技術を使って故人の歌声や思考パターンを再現することが実現できる世の中となってきた。そうして復元された故人と、どう向きあえばいいのだろうか。デジタル遺品や、故人とデジタルの関係を10年以上追いかけているライターが考える。
松田優作さんを“デジタルヒューマン”として復活させるプロジェクト、東映が発表
東映のツークン研究所は31日、新たな映像表現を目指す取り組みの一環として1989年に亡くなった俳優の松田優作さんを「デジタルヒューマン」として蘇らせるプロジェクトを発表した。
最新AIの描く絵が「ヤバすぎ」「個展開ける」と話題　文章から画像を生成する「DALL・E 2」、米OpenAIが発表
米AI研究企業OpenAIは、文章から画像を生成するAI「DALL・E 2」を発表した。生成した画像を掲載するデモサイトも公開しており、その絵のクオリティーの高さにTwitter上では「最新のAIやばすぎる」など、驚きの声が出ている。
画像に写りこんだ水滴を除去できる「RainGAN」　シンガポールの研究チームが開発
シンガポールのNanyang Technological Universityの研究チームは、画像に写り込んだ水滴を除去する深層学習を用いた技術を開発した。雨などによってカメラレンズの表面に直接付着した水滴を撮影後の画像から除去する。