単眼カメラで上半身の動きを反映できるVTuberアプリ AIの姿勢推定技術で実現 記者も試してきた
スマートフォンのインカメラでユーザーの表情と上半身の動きを読み取り、バーチャルキャラクターに反映しながらライブ配信できるアプリ「GooMe」（iOS向け）を、ベンチャーのトライフォート（東京都渋谷区）が開発した。まずはライブ配信機能を省いた体験版をiPhone X、iPhone XS、iPhone XS Max向けに、11月13日から提供する。
発表会の様子
AI（人工知能）を活用した「OpenPose」と呼ばれる人の姿勢推定技術を採用。スマホの単眼カメラで撮影した平面の映像から、ユーザーの頭、左右の肩、肘、手首、腰の位置を検出し、バーチャルキャラクターに反映できる。従来、人の動きをバーチャルキャラクターに反映するには、体に複数のセンサーを取り付けるなど、大掛かりな機械が必要だった。
ライブ配信の視聴もGooMeアプリから行う。上半身と顔の動きは3D座標データに変換し、音声データと合わせて視聴者のアプリに配信。視聴者側のアプリで受け取った3D座標データをリアルタイムで3D空間に書き出してキャラクターを動かす。ライブ配信するデータに映像を含まないのが特徴だ。YouTubeなどの外部動画サービスには対応していない。
GooMeの概要
GooMeの仕組み
記者も実際に試してみた。こちらが手を振ると、少し遅れてバーチャルキャラクターも手を振った。素早い動きを検出するのが難しいのか、腕をぐるぐる回すと、バーチャルキャラクターは肘から先が腹から生えているように見えてしまうなど、不自然に表示されることも多かった。
体験版で使えるキャラクターの見た目はランダムで決まるため、少し時間を置いてから試すと、別の女の子に切り替わった
11月下旬に提供予定のβ版では対応機種を増やし、ライブ配信機能も実装する。
スマホ1台で3Dキャラクターを作成し、ライブ配信できるアプリは、ドワンゴの「カスタムキャスト」や、グリー子会社の「REALITY Avatar」などが先行している。トライフォートの大竹慎太郎社長は「われわれにはゲーム開発や受託開発で培った知見やノウハウがある。AIの活用など、技術で差別化する」と話している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「食事量は1日1200kcal以下、でも肥満」な人を14日間追跡調査 痩せない理由は……米コロンビア大などの研究
-
2
なぜ酒蔵の許諾なしに？ 「VTuberコラボ日本酒」騒動、主催者が経緯説明 仲介者による調整で「準備進んでいると認識」
-
3
かっぱ寿司「配布前のコラボグッズ、フリマで買わないで」 プリキュアコラボ発表日に注意喚起
-
4
LINEヤフーグループ、自己都合退職急増 前年度比65％増の2791人
-
5
「ペンギンを返して」→「3匹全部採用して」 批判殺到のSuica新キャラ、ファンアートが空気を変えた？ SNSの声
-
6
幻の「ちいかわ」コラボ第3弾皿、捨てちゃうの？ くら寿司に聞いてみた
-
7
AnthropicのアモデイCEO、AI開発の「ペース調整」訴えるエッセイ公開 アルトマン氏とマスク氏も賛同
-
8
本物そっくり“AI生成レシート“が経費精算の脅威に マネフォ「自力で見破るのは難しい」 企業はどう備える？
-
9
「ランジェリーパープルじゃない」「買おうと思ってたのに」 iPhone 18 Pro／Pro Maxの色に落胆の声
-
10
「iPhone 18」シリーズ徹底比較 「17」シリーズとの違いをチェック
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR