VTuberの動きをオーバーリアクションに自動変換 中の人の表情などをアニメーションに反映:Innovative Tech(2/2 ページ)
米パデュー大学の研究チームは、バーチャルYouTuber(VTuber)の配信において、ストリーマーの実際の動きよりも表現豊かな動きとして拡張し出力するシステムを開発。ストリーマーのトラッキングから得た音声や表情などに基づいてアニメーション生成する。
これらジェスチャーは、指定したペルソナ・パラメータに応じた動きに最適化する。例えば、エネルギーが低く内向的なアバターは、ビートの効いたジェスチャーをしないし、ジェスチャーそのものの頻度も軽減する。
シャイなアバターはより腰を落とし、肘を体に近づけて目立たないようにし、自信に満ちたアバターは背筋を伸ばして座り、肘を体から離して大きく見せようとするなど、ペルソナによって全体が大きく変わる。
ペルソナは、エネルギーレベルと外向性の度合いの2つのパラメータで設定できるため、外向的でエネルギッシュなアバターや、内向的で控えめなアバターを生み出せる一方で、緊張したジェスチャーを何度もしながら目を合わせないシャイだがエネルギッシュなアバターや、無関心な顔で自信を持って辛口のユーモアを伝える外向的だが穏やかなアバターなどの独特なアバターも生み出せる。
システムによってアバターの動きが発動するのは、ストリーマーの音声と表情などのアクションと、入力したペルソナのパラメータ値に依存する。ジェスチャーは、その前提条件が満たされたときに発動するが、全てを実行するのではなく、一貫して滑らかな動きになるような動きだけを採用する。
ジェスチャー同士の衝突がないように、推論したジェスチャーと即興のジェスチャーには実行確率を設定し、ペルソナのパラメータ値による優先順位を計算する。
評価実験では、315人の参加者を対象としたユーザー調査を実施。この手法で制作したアニメーションと、他の2つのアプローチ(単純なモーションキャプチャーで得られたバージョンと、VMagicMirrorを使用したバージョン)で制作したアニメーションをゲーム実況で比較し能力を評価した。
左端がストリーマー。中央の2つが既存の手法(中央左が単純なモーションキャプチャーでトラッキングしたアニメーション、中央右がVMagicMirrorを使ったアニメーション)右端がこの手法で出力したアニメーション
5段階評価の結果、この手法の評価が、他の2つのアプローチの評価よりも有意に高かった。「生き生きとしていて自然だ」や「3つのビデオの中で、最も繰り返し見てしまった」など高く評価するコメントが寄せられた。
一方で「動きが多すぎてゲームに集中できない」や「臆病なジェスチャーと、ストリーマーのエネルギッシュな声との間に矛盾がある」などの指摘する意見もあった。
Source and Image Credits: M. T. Tang, V. L. Zhu and V. Popescu, "AlterEcho: Loose Avatar-Streamer Coupling for Expressive VTubing," 2021 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2021, pp. 128-137, doi: 10.1109/ISMAR52148.2021.00027.
関連記事
- ポリ袋と同じ薄さの太陽電池、米スタンフォード大が開発 人間の皮膚にも装着可能
米スタンフォード大学の研究チームは、軽量で薄く曲げられる太陽電池を開発した。これまでのパネル式と比べ、 厚さが6マイクロメートル未満(ポリ袋程度の厚さ)の薄さを持ち、高いエネルギー変換効率を達成した。 - トリミングではなく、写真を拡張して良い構図を提案 AIが適切な背景を自動合成
中国の南開大学とTencent AI Lab、韓国のXverseの研究チームは、写真内を切り抜くのではなく、広げる方法で被写体に合わせた構図にして出力する、深層学習を使った外向きクロッピング手法を開発した。 - テキストだけで、AIが3Dモデルを自動生成 米Googleなどの研究チームが開発
米Google Researchと米カリフォルニア大学バークレー校の研究チームは、自然言語の記述のみからデジタル3Dオブジェクトを生成するZero-shot learningを使ったアプローチを提案。3Dの学習データを必要とせずに形状や色、スタイルを柔軟に制御する。 - VRのキャラクターに「腕グイ」されるデバイス 政大や京大などが開発
国立政治大学や京都大学、米ポモナ・カレッジ、米カリフォルニア大学デービス校の研究チームは、VR中でユーザーの腕を引っ張る触覚ウェアラブルデバイスを開発した。 - 「崖から落ちたけど、壁にナイフを刺して何とか助かったぜ…」を体験できるVR、東京電機大が開発
東京電機大学松浦研究室の研究チームは、人が崖から滑落する際に、助かろうとナイフを斜面に突き立てて停止する動作を再現したVR触覚システムだ。落下から崖をナイフで刺し、しばらく引きずられて停止するまでの疑似体験を提供する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.