Innovative Tech

VTuberの動きをオーバーリアクションに自動変換　中の人の表情などをアニメーションに反映（2/2 ページ）

公開 2021年12月22日 08時01分

著者

山下裕毅

[ITmedia]

印刷する Googleで優先するソースとして追加

　これらジェスチャーは、指定したペルソナ・パラメータに応じた動きに最適化する。例えば、エネルギーが低く内向的なアバターは、ビートの効いたジェスチャーをしないし、ジェスチャーそのものの頻度も軽減する。

　シャイなアバターはより腰を落とし、肘を体に近づけて目立たないようにし、自信に満ちたアバターは背筋を伸ばして座り、肘を体から離して大きく見せようとするなど、ペルソナによって全体が大きく変わる。

　ペルソナは、エネルギーレベルと外向性の度合いの2つのパラメータで設定できるため、外向的でエネルギッシュなアバターや、内向的で控えめなアバターを生み出せる一方で、緊張したジェスチャーを何度もしながら目を合わせないシャイだがエネルギッシュなアバターや、無関心な顔で自信を持って辛口のユーモアを伝える外向的だが穏やかなアバターなどの独特なアバターも生み出せる。

同じフレームでペルソナのパラメータ値を変えた場合の出力結果。恥ずかしがり屋／内向的（左）、自信家／外向的（右）

　システムによってアバターの動きが発動するのは、ストリーマーの音声と表情などのアクションと、入力したペルソナのパラメータ値に依存する。ジェスチャーは、その前提条件が満たされたときに発動するが、全てを実行するのではなく、一貫して滑らかな動きになるような動きだけを採用する。

　ジェスチャー同士の衝突がないように、推論したジェスチャーと即興のジェスチャーには実行確率を設定し、ペルソナのパラメータ値による優先順位を計算する。

　評価実験では、315人の参加者を対象としたユーザー調査を実施。この手法で制作したアニメーションと、他の2つのアプローチ（単純なモーションキャプチャーで得られたバージョンと、VMagicMirrorを使用したバージョン）で制作したアニメーションをゲーム実況で比較し能力を評価した。

左端がストリーマー。中央の2つが既存の手法（中央左が単純なモーションキャプチャーでトラッキングしたアニメーション、中央右がVMagicMirrorを使ったアニメーション）右端がこの手法で出力したアニメーション

　5段階評価の結果、この手法の評価が、他の2つのアプローチの評価よりも有意に高かった。「生き生きとしていて自然だ」や「3つのビデオの中で、最も繰り返し見てしまった」など高く評価するコメントが寄せられた。

　一方で「動きが多すぎてゲームに集中できない」や「臆病なジェスチャーと、ストリーマーのエネルギッシュな声との間に矛盾がある」などの指摘する意見もあった。

Source and Image Credits: M. T. Tang, V. L. Zhu and V. Popescu, "AlterEcho: Loose Avatar-Streamer Coupling for Expressive VTubing," 2021 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2021, pp. 128-137, doi: 10.1109/ISMAR52148.2021.00027.