単眼カメラで上半身の動きを反映できるVTuberアプリ AIの姿勢推定技術で実現 記者も試してきた
AIを活用して配信者の体の動きを検出し、バーチャルキャラクターに反映するライブ配信アプリが登場した。
スマートフォンのインカメラでユーザーの表情と上半身の動きを読み取り、バーチャルキャラクターに反映しながらライブ配信できるアプリ「GooMe」(iOS向け)を、ベンチャーのトライフォート(東京都渋谷区)が開発した。まずはライブ配信機能を省いた体験版をiPhone X、iPhone XS、iPhone XS Max向けに、11月13日から提供する。
AI(人工知能)を活用した「OpenPose」と呼ばれる人の姿勢推定技術を採用。スマホの単眼カメラで撮影した平面の映像から、ユーザーの頭、左右の肩、肘、手首、腰の位置を検出し、バーチャルキャラクターに反映できる。従来、人の動きをバーチャルキャラクターに反映するには、体に複数のセンサーを取り付けるなど、大掛かりな機械が必要だった。
ライブ配信の視聴もGooMeアプリから行う。上半身と顔の動きは3D座標データに変換し、音声データと合わせて視聴者のアプリに配信。視聴者側のアプリで受け取った3D座標データをリアルタイムで3D空間に書き出してキャラクターを動かす。ライブ配信するデータに映像を含まないのが特徴だ。YouTubeなどの外部動画サービスには対応していない。
記者も実際に試してみた。こちらが手を振ると、少し遅れてバーチャルキャラクターも手を振った。素早い動きを検出するのが難しいのか、腕をぐるぐる回すと、バーチャルキャラクターは肘から先が腹から生えているように見えてしまうなど、不自然に表示されることも多かった。
11月下旬に提供予定のβ版では対応機種を増やし、ライブ配信機能も実装する。
スマホ1台で3Dキャラクターを作成し、ライブ配信できるアプリは、ドワンゴの「カスタムキャスト」や、グリー子会社の「REALITY Avatar」などが先行している。トライフォートの大竹慎太郎社長は「われわれにはゲーム開発や受託開発で培った知見やノウハウがある。AIの活用など、技術で差別化する」と話している。
関連記事
- スマホ1台でお手軽VTuber、グリーも参入 配信者にはポイント還元も 「REALITY Avatar」提供開始
グリー子会社のWright Flyer Live Entertainmentが、スマートフォン1つでバーチャルYouTuberのキャラクター制作からライブ配信までを行えるアプリ「REALITY Avatar」の提供を始めた。対応デバイスはiPhone X、iPhone Xs、iPhone Xs Maxのみ。 - スマホでVTuberキャラ作成からライブ配信まで 「カスタムキャスト」提供開始
スマートフォンでVTuberを作成できる「カスタムキャスト」の配信がスタートした。 - 誰でも「美少女バーチャルYouTuber」になれるアプリ登場 そう、iPhone Xならね
iPhone Xの顔認識機能を使って、アニメキャラクターに表情を反映、動画配信できるアプリが登場する。 - 誰でもバーチャルキャラクターになれるアプリ、ミライアカリのDUOが2018年中に配信へ
バーチャルYouTuber「ミライアカリ」やバーチャルYouTuber事務所「ENTUM(エンタム)」などを運営するDUOが、誰でもバーチャルキャラクターになって動画配信できるアプリ「IRIAM(イリアム)」を2018年中に配信予定と発表した。 - 映像だけで人の姿勢を検出できる AIで高精度を実現 モルフォ
映像だけで人や動物の姿勢を検出できる技術を、モルフォが開発した。監視カメラを使った異常検知などでの活用を見込む。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.