写真を抽象的なスケッチに変換するAI 対象物の本質を最小限に表現:Innovative Tech
スイスのチューリッヒ工科大学(EPFL)とイスラエルのTel Aviv University、イスラエルのReichman Universityは、写真内に写る対象物から、抽象的なスケッチを生成するシステムを開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
スイスのチューリッヒ工科大学(EPFL)とイスラエルのTel Aviv University、イスラエルのReichman Universityによる研究チームが開発した「CLIPasso: Semantically-Aware Object Sketching」は、写真内に写る対象物の本質を捉えた抽象的なスケッチを生成する手法だ。
例えば、ピカソは有名な「Le Taureau」において、雄牛を段階的に抽象化して描いている。この一連のリトグラフにおいて、解剖図から雄牛の本質を捉えつつも数行のスケッチ構成に変換している。この研究では、写真を具体的な描写から抽象的なものに変換する、抽象化プロセスを機械学習を用いて自動化する。
しかし、機械学習でエッジを捉えたリアルなスケッチは容易になったが、抽象的なスケッチを描くのは困難である。抽象化のプロセスでは、対象物やシーンの概念に関する知識や意味を捉えなければならないからだ。このギャップを埋めるため、テキストと対になった多様なスタイルの画像で訓練したニューラルネットワーク「CLIP」を使用する。
この手法では、事前学習したCLIPモデルの中間層を使用して、写真から抽象的なスケッチへの変換を行う。描画するターゲット画像が与えられたら、写真内の対象物を抽出し、微分可能なラスタライザに送り、ラスタライズしたスケッチを生成する。得られたスケッチと元画像をCLIPに送り込み、CLIPベースの損失に対して最適化する。
抽象化のレベルは使用するストロークの数によって決定する。特定のスケッチデータセットを必要としない。
結果として得られるスケッチは、対象物の本質を捉える意味的特徴と視覚的特徴の組み合わせを示し、かつ最小限でありながら、インスタンスレベルやクラスレベルの抽象化を良好に行うことができる。
関連記事
- ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。 - 「誰がモデルか、なんとなく分かる」アニメ風の顔画像に変換するAI、台湾の研究チームが開発
国立台湾科技大学の研究チームは、現実の顔のアイデンティティーを維持したままアニメ風の顔画像に変換するGANを使ったシステムを開発した。実写感を排除しているのに、元の顔の原型をできるだけ残した点が特徴だ。 - 全て糸でできた46インチのディスプレイ カラー映像の出力や折り曲げが可能
英ケンブリッジ大学などによる研究チームは、全て繊維素材で製造したディスプレイを開発した。ディスプレイ部にカラー映像を映し出せ、表示した状態で通常の布地のように折り曲げられる。 - 写真内の物体を3Dモデルに変換するシステム、米Snapらの研究チームが開発
米南カリフォルニア大学(USC)と、写真共有アプリ「Snapchat」などを開発する米Snapの研究チームは、さまざまな時間や場所、照明条件で撮影した画像から、対象物を抽出し3Dモデルに変換するシステムを開発した。 - テキストから御朱印を自動生成するシステム、筑波大が開発 寺社1000カ所以上から御朱印収集、データ化
筑波大学落合研究室の研究チームは、テキストから御朱印を自動生成する学習ベースのシステムを開発。訓練用のデータセットは、寺社1000カ所以上を訪問し取得した御朱印を基に大規模にデータ化した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.