Sakana.ai、浮世絵風イラスト生成AIを公開　浮世絵をカラー化するAIも

公開 2024年07月22日 11時31分

[ITmedia]

印刷する

　元米Googleの著名な研究者、リオン・ジョーンズ氏とデビッド・ハー氏らが東京で立ち上げたAIスタートアップSakana.ai（東京都港区）は7月21日、浮世絵風イラストを生成できるAIモデル「Evo-Ukiyoe」と、浮世絵をカラー化できるモデル「Evo-Nishikie」（錦絵）を発表した。各モデルとそのデモをHugging Faceで公開している。

　各モデルは、同社が4月に公開した画像生成AI「EvoSDXL-JP」をベースに開発。いずれも、芸術品を研究・保管する立命館大学アート・リサーチセンターから提供を受けた浮世絵の画像2万4038点を活用したという。どちらも日本語の入力に対応する。

Evo-Ukiyoeで生成した画像（Sakana.aiの発表から引用、以下同）

Evo-Ukiyoeで生成した画像（プロンプト：「植物と花がある。蝶が飛んでいる。最高品質の輻の浮世絵」）

Evo-Ukiyoeで生成した画像（プロンプト：「鶴が庭に立っている。雪が降っている。最高品質の輻の浮世絵」）

Evo-Ukiyoeで生成した画像（プロンプト：「着物を着ている猫が庭でお茶を飲んでいる。最高品質の輻の浮世絵。」）

　Evo-Ukiyoeはt2i（テキストから画像を生成する）モデル。別のマルチモーダル（画像や言語など複数の入力ソースを扱える）生成AIを使って浮世絵の内容説明（キャプション）を付与し、人の手で調整するなどして浮世絵とキャプションの組み合わせをデータセット化した。このデータセットを使ってEvoSDXL-JPをファインチューニングしたという。

元の画像（左）と、Evo-Nishikieでカラー化した画像（右3枚）

元の画像（左）と、Evo-Nishikieでカラー化した画像（右2枚）

元の画像（左、国文学研究資料館蔵「浮世画譜」のマイクロフィルム画像）とEvo-Nishikieでカラー化した画像（右）

元の画像（左、国文学研究資料館蔵「絵本玉かつら」1736年刊）とEvo-Nishikieでカラー化した画像（右）

元の画像（左、国文学研究資料館蔵「絵本玉かつら」1736年刊）とEvo-Nishikieでカラー化した画像（右）

　一方のEvo-Nishikieはi2i（画像を基に画像を生成する）モデルで、単色もしくはそれに近い浮世絵の画像をカラー化したり、浮世絵の色を変換したりできる。画像とプロンプトの両方を入力することも可能。こちらはプロンプトと、ノイズ除去や線画化を施した画像の組み合わせをデータセットとし、Evo-Ukiyoeをベースに開発したという。

　公式サイトでは実際の生成結果なども公開中。Sakana.aiは各モデルの用途について「歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待している」としている。

　ただし、モデルを公開したのは研究開発が目的で、商用利用などは想定しない。「Sakana.aiは、得られた結果に関わらず、本モデルの使用から生じる直接的、間接的、特別、偶発的、結果的な損害、または損失について責任を負わない。ユーザーは、本モデルの使用に伴うリスクを十分に理解し、自己の判断で使用する必要がある」としている。

ITmedia NEWS編集部の読者交流会を開催します！

　8月6日に、ITmedia NEWS編集部主催の読者交流会を開催します。ゲストに株式会社Finatextホールディングスの林良太CEOを招待し「テックスタートアップ失敗談」をテーマにしたトークセッションを行うほか、ゲスト・編集者・来場者間でコミュニケーションできる交流の場も設けます。

　起業やスタートアップ業界に関わりのある方、ITmedia NEWS編集部に伝えたいことがある方の参加をお待ちしております。

参加申し込みはこちらから