あなたが話すと、キャラクターもしゃべり出す──Veepersの進化は“ケータイ”を意識

[後藤祥子，ITmedia]

　1枚の写真からしゃべる3Dモデルを生成──。こんな利用を可能にするのがPulseのバーチャルキャラクター合成技術「Veepers Content Engine」（以下、Veepers）だ（7月25日の記事参照）。PCや携帯、組み込み機器に対応する技術で、携帯向けではKDDIの公式サービス「絵しゃべりメール」への採用実績がある。

　このVeepersが新たにリアルタイムのリップシンクに対応。携帯への組み込みを意識した対応だと話すPulseの千財悟郎代表取締役に、この機能を実現した技術と用途について聞いた。

人が話すと同時に、キャラクターもしゃべり出す

千財氏がノートPCを開いて新機能の説明を始めると、PC上に表示された犬のキャラクターがそれに合わせて口を動かし始めた

　Veepersは、1枚の写真から顔の特徴点を抽出して3Dモデルを生成し、そのモデルに声に合わせた口の動きや表情を反映させる技術。少ない素材から3Dモデルを作成でき、それを口パクでしゃべらせることができるのが特徴だ。

　これまでのVeepersでは、音声をいったんサーバにアップして話者がどんな言葉を話したかを解析し、それに合わせた口の動きをキャラクターに適用していた。それが新バージョンでは、音声を取り込むと同時に解析と口の動きの反映処理を行えるようになり、遅延もほぼ50ミリ秒程度と低く抑えられたことから“話している人とほぼ同じタイミングでキャラクターが口を動かす”という表現が可能になった。この機能は、携帯単体で稼働することを目標に開発を進めており、「最近のハイエンドモデルくらいの端末性能なら搭載できる」（千財氏）という。

　この技術を応用すれば、例えばテレビ電話の代替キャラクターに自分の口の動きを反映させるような使い方も可能になる。Veepersには口パクしているキャラクターに、ボタン操作で驚きや怒りなどを表すモーションを加える機能も用意されており、こうしたところからも、携帯を意識した機能追加であることがうかがえる。

　「今、どんな音を話者が話しているかを瞬間的に解読するのは、実は難しい」と千財氏。解析は前後の音の空間モデルを使って行っており、解析するまでの秒数が長ければ長いほど高い精度の結果が得られるからだ。「それを短くして精度を保つのは難しかったが、その精度を高めることで、リアルタイムのリップシンクが可能になった。これまではオフラインで事前処理を行い、それに対してリップシンクさせていたが、新バージョンではキャラクターを延々としゃべらせることもできる」（千財氏）

このムービーをご利用いただくためにはFLASHプラグイン（バージョン8以上）が必要です。

携帯のパーソナライズや、エージェント機能搭載に

　携帯にはテレビ電話やプッシュ・トゥ・トークなどのコミュニケーション機能が搭載されているが、コンシューマー向けにはなかなか普及していないのが現状だ。千財氏は「Veepersが普及の手助けになれば」と話す。

　その他の応用例として挙げるのは、待受画面での活用だ。最近の携帯は、待受画面に情報を集約して配信するというトレンドがあり、Pulseではそこでの活用も期待しているという。「例えば画面上に流れるニュースや天気予報を、好きなキャラクターに読み上げさせたりできる」（千財氏）。キャラクターにメールの着信やアラーム通知、ナビのガイド機能などを持たせてエージェント的に使えるようにすれば、ユーザーが愛着を持って端末を使えるようになるというわけだ。

　「情報の受け渡しやコミュニケーションのインタフェース窓口をキャラクターに集約させることで、キャラクターの価値が上がり、キャリアや端末メーカーは、自社ブランドに付加価値を持たせることができる」（千財氏）