8K画像の不要箇所を自然に削除 ファーウェイが技術開発:Innovative Tech
Photoshopでは「コンじる」として知られている機能を限られたリソースで提供する技術。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Huawei Technologies Canada Co. Ltd. の研究チームが開発した「Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting」は、高解像度画像内の不要なオブジェクトを自然に消す機械学習ベースの技術だ。消した後の領域には周囲と調和した画像を補完し、自然な画像に見せる。
画像から不要な部分だけを消去して自然に埋める「インペイント」という技術は多方面で研究されており、例えばAdobe Photoshopでは「コンテンツに応じて塗りつぶし」(通称:コンじる)として知られている機能だが、その多くはメモリや画像サイズの制限などで1K以下の低解像度画像にしか適用できなかった。今回の手法は限られたリソース内で8Kまでの高解像度画像に対応したインペイント技術を提案する。
提案するモデルは、画像内で指定したオブジェクトをマスクし、そのマスク領域をコンテキストに合うよう埋めることでもっともらしい画像を生成する。途中で高解像度による劣化を修復しているところがポイントだ。
具体的には、高解像度の入力画像から低解像度のインペイント結果を予測し、それをアップサンプリング(画像のピクセル数を増やす)して高周波成分が欠落した劣化画像を生成する。続けて、最初に低解像度にした画像から残差画像を生成し 、劣化画像に補填することで高解像度画像に変換する。
ニューラルネットワークの動作を低解像度画像に限定しているため、メモリコストと計算時間を削減でき、学習用の高解像度画像データセットも軽減できている。その結果、従来の機械学習ベースのインペイント技術では困難であった8K画像の描画処理が可能になった。さらに、GPUを使えば2K画像に対してリアルタイムに処理を行えることも実証した。
関連記事
- カメラなしでも全行動を文章で記録する「RF-Diary」 RF信号でライフログ技術、MITが開発
周波数変調連続波を使い、レーダーのように人の動きを記録する。 - 専用カメラなしで自由視点映像を合成、深層学習で カーネギーメロン大学「Open4D」開発
大がかりなキャプチャーシステムなしで、自由に視点を変えたり人物を消したりできる技術が開発された。 - ロボットが家具を再配置してバーチャル空間をリアルに演出 コロラド大「RoomShift」発表
ロボットがVRユーザーを先回りして家具を再配置する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.