　“棒人間”姿のVRアバターで取ったポーズを基に、画像生成AIで出力する美少女イラストの姿勢を指定する――こんなチャレンジをした人がいる。生成するキャラクターのポーズを制御できる技術を活用したもので、VR空間でアバターを動かせばいいので「かなり楽」と作成者のPuton.（@nao_minty）さんがTwitterに投稿した。

棒人間姿のアバターでポーズを取る様子（Puton.さんの投稿より）

アバターのポーズを基に生成したイラスト（Puton.さんの投稿より）

　ポーズ制御技術である「ControlNet」は「Stable Diffusion」などの画像生成AIでイラストを出力する際、棒人間のような3Dモデル「ボーン」（骨組み）を組み合わせてイラストの構図やキャラクターのポーズを指定するもの。通常なら3Dモデリングのスキルが必要な場合がある。

　Puton.さんはソーシャルVRサービス「VRChat」ユーザーで、自分の動きをそのままアバターに反映できるフルトラッキング環境を持っていた。そこで「アバターでControlNet用のポーズ指定ができるのではないか」と思い付いたという。VRChatで使うアバターをボーン姿にして動かせるようにし、そのシーンをControlNetに入力したのだ。その結果、ポーズを指定する画像を簡単に入手できるようになったという。アバターの作成手順は以下の通りだ。

アバター作成時の基本姿勢であるTポーズ（直立で両腕を横に伸ばした姿勢）の画像を用意する
Tポーズ画像を基に、画像から人間の肩やひじの位置と姿勢を推定する技術「OpenPose」を使ってボーン画像を作成する
ボーン画像の比率と色を基に、3Dモデリングソフト「Blender」でアバター用の3Dモデルを作成する
モデルをUnityからVRChatにアップロードした

VRChat内でアバターを実装した様子（Puton.さんの投稿より）

　このボーン型アバターを複数人で使えば、キャラクターが複数いるシーンなども簡単に撮影できる他、VRChatのワールド（空間）や背景と合成することもできそうだという。また頭のサイズを変えられるようにすれば、生成するキャラクターの印象を調整できるかもしれないとしている。

　課題としては、後ろを向いた際の精度が低い点を挙げた。棒人間のため、顔が前を向いているか後ろを向いているか分からないのだ。「後ろを向いた時は目と鼻に対応する部分を消すといった仕組みで改善できる」とPuton.さんは見込んでいる。

VRChat内で集合写真を撮った様子（Puton.さんの投稿より）

集合写真を基に生成したイラスト（Puton.さんの投稿より）

　Puton.さんは、作ったボーン型アバターを誰でも使えるようVRChat内で公開している。このアバターは、衣装などを着ているアバターに比べてポリゴン数が少なく動作が軽量で、見た目が面白いということもあり用途を知らない人も使うようになった。その結果「カオスなことになった」という。

ボーン型アバターがはやった様子（Puton.さんの投稿より）

AIイラスト生成技術にまた衝撃　キャラのポーズが自由自在の「ControlNet」登場
AIでのイラスト生成時、キャラクターに自由なポーズを取らせることができる──そんな新技術が話題に。Twitterユーザーの間で「革新的な変化」と話題になっている。
注目集める「AIコスプレイヤー」の作り方を調べてみたら、“無規制地帯”が見つかった　イラスト生成のダークサイド
注目集める「AIコスプレイヤー」。その作り方を調べてみたら、インターネットの“無規制地帯”が見つかった。
まさに「世界変革」──この2カ月で画像生成AIに何が起きたのか？
2022年8月22日。日本時間にして午前4時ごろ、「世界変革」はついに実行された。「どんな絵も描ける」AIである「Stable Diffusion」がついにオープンソースとして公開されたのだ。そこからの2カ月を振り返る。
アバター着替え放題の大騒ぎ　美少女キャラもロボットも　「バーチャルマーケット6」の遊び方
VRイベント「バーチャルマーケット6」の魅力の一つは、いろいろなアバターに変身して遊べることだ。気に入ったアバターを試着して買ったり、制作者とVR空間で直接会って喋ったりしてきた。
ソニー、全身の動きをアバターに反映する新デバイス「mocopi」　VRChatでも“フルトラ”実現
ソニーから小型軽量のモーションキャプチャーデバイス「mocopi」が登場した。6つのセンサーを頭や手足、腰に取り付けることで、全身の動きをVRに取り込む「フルトラッキング」（フルトラ）を実現する。