AIイラスト生成技術にまた衝撃 キャラのポーズが自由自在の「ControlNet」登場

AIでのイラスト生成時、キャラクターに自由なポーズを取らせることができる──そんな新技術が話題に。Twitterユーザーの間で「革新的な変化」と話題になっている。

[ITmedia]

　AIでのイラスト生成時、キャラクターに自由なポーズを取らせることができる──そんな新技術が話題だ。その名は「ControlNet」。2月10日に論文が投稿されると、数日後にはStable Diffusion用WebUI向けの拡張機能がGitHubに登場。15日には、AIイラストに注目するTwitterユーザーの間で「革新的な変化」と話題になっている。

　論文によれば、ControlNetはStable Diffusionなどの拡散モデルでテキストから画像を生成するときに、追加の入力条件を加えて生成結果を制御するニューラルネットワークという。Stable DiffusionとControlNetを併用することで、より容易に生成結果を制御できるとしている。

論文内のイメージ

　流通している拡張機能では、ControlNetと人型のボーン（3Dモデルの骨組み）を組み合わせ、イラストのポーズを制御する仕組みを実現している様子だ。ボーンはデッサン人形の代わりといえるだろう。

着色のイメージ（GitHubから引用。ただしこの機能は15日時点で利用できないという）

　つまり、従来は呪文のようなテキストを駆使しても思い通りのポーズを取らせるのは難しかったところ、ControlNetを使えば思い通りのポーズを実現できるわけだ。また論文によれば、ControlNetは線画の着色などにも活用できるといい、Twitter上でも色塗りに使用している例が出始めている。