AI生成キャラのポーズを“棒人間アバター”で指定　「ControlNet」にVRを応用するユーザー登場

　“棒人間”姿のVRアバターで取ったポーズを基に、画像生成AIで出力する美少女イラストの姿勢を指定する――こんなチャレンジをした人がいる。生成するキャラクターのポーズを制御できる技術を活用したもので、VR空間でアバターを動かせばいいので「かなり楽」と作成者のPuton.（@nao_minty）さんがTwitterに投稿した。

　ポーズ制御技術である「ControlNet」は「Stable Diffusion」などの画像生成AIでイラストを出力する際、棒人間のような3Dモデル「ボーン」（骨組み）を組み合わせてイラストの構図やキャラクターのポーズを指定するもの。通常なら3Dモデリングのスキルが必要な場合がある。

　Puton.さんはソーシャルVRサービス「VRChat」ユーザーで、自分の動きをそのままアバターに反映できるフルトラッキング環境を持っていた。そこで「アバターでControlNet用のポーズ指定ができるのではないか」と思い付いたという。VRChatで使うアバターをボーン姿にして動かせるようにし、そのシーンをControlNetに入力したのだ。その結果、ポーズを指定する画像を簡単に入手できるようになったという。アバターの作成手順は以下の通りだ。

1. アバター作成時の基本姿勢であるTポーズ（直立で両腕を横に伸ばした姿勢）の画像を用意する
2. Tポーズ画像を基に、画像から人間の肩やひじの位置と姿勢を推定する技術「OpenPose」を使ってボーン画像を作成する
3. ボーン画像の比率と色を基に、3Dモデリングソフト「Blender」でアバター用の3Dモデルを作成する
4. モデルをUnityからVRChatにアップロードした

　このボーン型アバターを複数人で使えば、キャラクターが複数いるシーンなども簡単に撮影できる他、VRChatのワールド（空間）や背景と合成することもできそうだという。また頭のサイズを変えられるようにすれば、生成するキャラクターの印象を調整できるかもしれないとしている。

　課題としては、後ろを向いた際の精度が低い点を挙げた。棒人間のため、顔が前を向いているか後ろを向いているか分からないのだ。「後ろを向いた時は目と鼻に対応する部分を消すといった仕組みで改善できる」とPuton.さんは見込んでいる。

　Puton.さんは、作ったボーン型アバターを誰でも使えるようVRChat内で公開している。このアバターは、衣装などを着ているアバターに比べてポリゴン数が少なく動作が軽量で、見た目が面白いということもあり用途を知らない人も使うようになった。その結果「カオスなことになった」という。

この記事の著者

関連記事

• 

  AIイラスト生成技術にまた衝撃　キャラのポーズが自由自在の「ControlNet」登場

• 

  注目集める「AIコスプレイヤー」の作り方を調べてみたら、“無規制地帯”が見つかった　イラスト生成のダークサイド

• 

  まさに「世界変革」──この2カ月で画像生成AIに何が起きたのか？

• 

  アバター着替え放題の大騒ぎ　美少女キャラもロボットも　「バーチャルマーケット6」の遊び方

• 

  ソニー、全身の動きをアバターに反映する新デバイス「mocopi」　VRChatでも“フルトラ”実現