あなたが話すと、キャラクターもしゃべり出す──Veepersの進化は“ケータイ”を意識
1枚の写真から“しゃべる3Dモデル”を生成できるのが、Pulseのバーチャルキャラクター合成技術「Veepers Content Engine」。新バージョンには、“ケータイを意識した”機能が盛り込まれた。
1枚の写真からしゃべる3Dモデルを生成──。こんな利用を可能にするのがPulseのバーチャルキャラクター合成技術「Veepers Content Engine」(以下、Veepers)だ(7月25日の記事参照)。PCや携帯、組み込み機器に対応する技術で、携帯向けではKDDIの公式サービス「絵しゃべりメール」への採用実績がある。
このVeepersが新たにリアルタイムのリップシンクに対応。携帯への組み込みを意識した対応だと話すPulseの千財悟郎代表取締役に、この機能を実現した技術と用途について聞いた。
人が話すと同時に、キャラクターもしゃべり出す
Veepersは、1枚の写真から顔の特徴点を抽出して3Dモデルを生成し、そのモデルに声に合わせた口の動きや表情を反映させる技術。少ない素材から3Dモデルを作成でき、それを口パクでしゃべらせることができるのが特徴だ。
これまでのVeepersでは、音声をいったんサーバにアップして話者がどんな言葉を話したかを解析し、それに合わせた口の動きをキャラクターに適用していた。それが新バージョンでは、音声を取り込むと同時に解析と口の動きの反映処理を行えるようになり、遅延もほぼ50ミリ秒程度と低く抑えられたことから“話している人とほぼ同じタイミングでキャラクターが口を動かす”という表現が可能になった。この機能は、携帯単体で稼働することを目標に開発を進めており、「最近のハイエンドモデルくらいの端末性能なら搭載できる」(千財氏)という。
この技術を応用すれば、例えばテレビ電話の代替キャラクターに自分の口の動きを反映させるような使い方も可能になる。Veepersには口パクしているキャラクターに、ボタン操作で驚きや怒りなどを表すモーションを加える機能も用意されており、こうしたところからも、携帯を意識した機能追加であることがうかがえる。
「今、どんな音を話者が話しているかを瞬間的に解読するのは、実は難しい」と千財氏。解析は前後の音の空間モデルを使って行っており、解析するまでの秒数が長ければ長いほど高い精度の結果が得られるからだ。「それを短くして精度を保つのは難しかったが、その精度を高めることで、リアルタイムのリップシンクが可能になった。これまではオフラインで事前処理を行い、それに対してリップシンクさせていたが、新バージョンではキャラクターを延々としゃべらせることもできる」(千財氏)
*** 一部省略されたコンテンツがあります。PC版でご覧ください。 ***
携帯のパーソナライズや、エージェント機能搭載に
携帯にはテレビ電話やプッシュ・トゥ・トークなどのコミュニケーション機能が搭載されているが、コンシューマー向けにはなかなか普及していないのが現状だ。千財氏は「Veepersが普及の手助けになれば」と話す。
その他の応用例として挙げるのは、待受画面での活用だ。最近の携帯は、待受画面に情報を集約して配信するというトレンドがあり、Pulseではそこでの活用も期待しているという。「例えば画面上に流れるニュースや天気予報を、好きなキャラクターに読み上げさせたりできる」(千財氏)。キャラクターにメールの着信やアラーム通知、ナビのガイド機能などを持たせてエージェント的に使えるようにすれば、ユーザーが愛着を持って端末を使えるようになるというわけだ。
「情報の受け渡しやコミュニケーションのインタフェース窓口をキャラクターに集約させることで、キャラクターの価値が上がり、キャリアや端末メーカーは、自社ブランドに付加価値を持たせることができる」(千財氏)
関連記事
- あなたの声で、1枚の写真がしゃべる3Dモデルに──「絵しゃべりメール」の裏にある技術
自分の声でハニワやモアイ像、犬、魚がしゃべる──。こんなムービーを手軽に作成できるのが、au向けサービスの「絵しゃべりメール」だ。裏で動くバーチャルキャラクター合成技術の特徴と応用分野についてPulseに聞いた。 - ペットがあなたの声でしゃべりだす──auの「絵しゃべりメール」キャンペーン
愛するペットを自分の声でしゃべらせる──。KDDIが、「絵しゃべりメール」を使った、こんなキャンペーンを実施する。期間限定コンテンツとして“はっちゃん”も登場。 - “穴”を埋めてMNPに臨む――auの新サービス8種
テレビ電話、デコレーションメール、待受画面へのニュース配信、アドレス帳やメール、写真の無料バックアップサービス……auが秋冬モデルで打ち出した新機能は、かなりMNPを意識したものだ。8つの新機能の詳細について、詳しく紹介しよう。 - Pulseの絵しゃべりメール、auの夏モデルに標準搭載
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.