「馬がシマウマに」「夏の写真が冬に」 “ペア画像なし”で機械学習するアルゴリズム「CycleGAN」がGitHubに公開

[井上輝一，ITmedia]

　米バークレーAIリサーチラボラトリーと米カリフォルニア大学バークレー校の研究者は、写真から絵画を生成したり、ウマの写真をシマウマに変換したりできるソフトウェア「CycleGAN」をGitHubに公開した。

「ウマとシマウマ」「写真と有名画家」「夏と冬」などを相互に変換できるアルゴリズム「CycleGAN」（画像はGitHubと論文より）

　開発したのは、線画からリアルなネコの画像を生成するWebサービス「edges2cats」（関連記事）の核となるアルゴリズム「pix2pix」を作ったチーム。

　画像を変換する機械学習の場合、多くは入力画像とそれに対応するお手本の出力画像のペアを集めたデータセットをトレーニングのために用意することになる。しかし、良い学習結果を出すには10万〜100万程度のデータセットが必要になることも少なくなく、機械学習に取り組む上での難関はそのように多くの画像ペアを集めることでもある。

　CycleGANではこの問題を解決するべく、入力-出力ペアのデータセットなしで画像変換を学習することに取り組んだ。例えば「夏」ドメインと「冬」ドメイン、「ウマ」ドメインと「シマウマ」ドメインなど2つのドメインに画像を分ける。そして夏の画像を「冬」に変換した後に再び「夏」に変換し、元の夏画像と比較し、その差を評価することで変換精度を高めていく。

従来の画像の学習には画像ペアのトレーニングデータが必要だったが、今回ペアになっていないドメインXとYを用いて学習した

Xの写真をマッピング関数GでドメインYへ変換、変換した画像をマッピング関数FでXへ再変換し、元画像との差を“cycle-consistency loss”として評価する

　そうした学習の結果、写真とモネ風、ゴッホ風、セザンヌ風、浮世絵風絵画の相互変換や、ウマとシマウマの相互変換、季節写真の相互変換、iPhoneの写真と一眼レフカメラ写真の相互変換などが上記の図のような精度でできるようになった。また、この変換品質はpix2pixなど画像ペアが必要な従来の手法と定量的に比べても優れているという。

iPhoneの写真を一眼レフカメラ風に変換すると被写界深度が浅くなるようだ