AIでノートルダム大聖堂をサクラダファミリア風に──テクスチャや陰影を自在に変更できる画像編集ツール Adobeなど開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米カリフォルニア大学バークレー校と米Adobe Researchの研究チームが開発した「Swapping Autoencoder for Deep Image Manipulation」は、高解像度の写真のスタイルやテクスチャなどをリアルタイムかつ直感的に編集できる、深層学習を用いた実験的な画像編集ツールだ。

本手法の出力結果。左端が入力画像、その右側は、構造を残しつつ別のテクスチャを混合した合成画像

　このツールを用いれば、元画像の構造を残しつつ別画像のスタイルを混ぜ合わせた合成画像の生成や、陰影の変更、露出時間の変更の他、空を夕焼けにしたり雪を積もらせたりするといった天候や季節の変更も行える。

画像編集のユーザーインタフェース

　画像を取り込むと、ユーザーはサンプルから好みのスタイルやテクスチャを選択し変換できる。それぞれスタイルの適応度合いを調整可能だ。

　ブラシを使い、部分的に構造の編集もできる。例えば、画像内の一部分の素材を抽出し、別の場所にその素材を増殖させることで、山や川を増やせる。適当にストロークしても周囲と調和した仕上がりにできる。

本手法のアーキテクチャ

　出力画像を複数のデータセットで検証した結果、既存の類似手法と比較して定性的・定量的に優位性を実証したという。

既存の類似手法との出力結果の比較。左から元画像、テクスチャ画像、各モデルの出力結果、一番右が本手法の出力結果。教会の質感、髪や髭の質感、滝の長時間露光

左列の元画像の構造を崩すことなく、上段行のテクスチャを合成している

左列の顔画像のアイデンティティを残したまま、上段行の顔の雰囲気を合成している

左列の部屋のレイアウトはそのままに、上段行のベッドや壁紙などの模様を合成している