8K画像の不要箇所を自然に削除 ファーウェイが技術開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　Huawei Technologies Canada Co. Ltd. の研究チームが開発した「Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting」は、高解像度画像内の不要なオブジェクトを自然に消す機械学習ベースの技術だ。消した後の領域には周囲と調和した画像を補完し、自然な画像に見せる。

高解像度画像のインペイント結果

　画像から不要な部分だけを消去して自然に埋める「インペイント」という技術は多方面で研究されており、例えばAdobe Photoshopでは「コンテンツに応じて塗りつぶし」（通称：コンじる）として知られている機能だが、その多くはメモリや画像サイズの制限などで1K以下の低解像度画像にしか適用できなかった。今回の手法は限られたリソース内で8Kまでの高解像度画像に対応したインペイント技術を提案する。

　提案するモデルは、画像内で指定したオブジェクトをマスクし、そのマスク領域をコンテキストに合うよう埋めることでもっともらしい画像を生成する。途中で高解像度による劣化を修復しているところがポイントだ。

　具体的には、高解像度の入力画像から低解像度のインペイント結果を予測し、それをアップサンプリング（画像のピクセル数を増やす）して高周波成分が欠落した劣化画像を生成する。続けて、最初に低解像度にした画像から残差画像を生成し 、劣化画像に補填することで高解像度画像に変換する。

手法のパイプライン

　ニューラルネットワークの動作を低解像度画像に限定しているため、メモリコストと計算時間を削減でき、学習用の高解像度画像データセットも軽減できている。その結果、従来の機械学習ベースのインペイント技術では困難であった8K画像の描画処理が可能になった。さらに、GPUを使えば2K画像に対してリアルタイムに処理を行えることも実証した。