Innovative Tech

写真を抽象的なスケッチに変換するAI　対象物の本質を最小限に表現

公開 2022年02月17日 08時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　スイスのチューリッヒ工科大学（EPFL）とイスラエルのTel Aviv University、イスラエルのReichman Universityによる研究チームが開発した「CLIPasso: Semantically-Aware Object Sketching」は、写真内に写る対象物の本質を捉えた抽象的なスケッチを生成する手法だ。

写真内の対象物を抽象的なスケッチに変換する

　例えば、ピカソは有名な「Le Taureau」において、雄牛を段階的に抽象化して描いている。この一連のリトグラフにおいて、解剖図から雄牛の本質を捉えつつも数行のスケッチ構成に変換している。この研究では、写真を具体的な描写から抽象的なものに変換する、抽象化プロセスを機械学習を用いて自動化する。

　しかし、機械学習でエッジを捉えたリアルなスケッチは容易になったが、抽象的なスケッチを描くのは困難である。抽象化のプロセスでは、対象物やシーンの概念に関する知識や意味を捉えなければならないからだ。このギャップを埋めるため、テキストと対になった多様なスタイルの画像で訓練したニューラルネットワーク「CLIP」を使用する。

　この手法では、事前学習したCLIPモデルの中間層を使用して、写真から抽象的なスケッチへの変換を行う。描画するターゲット画像が与えられたら、写真内の対象物を抽出し、微分可能なラスタライザに送り、ラスタライズしたスケッチを生成する。得られたスケッチと元画像をCLIPに送り込み、CLIPベースの損失に対して最適化する。

　抽象化のレベルは使用するストロークの数によって決定する。特定のスケッチデータセットを必要としない。