ドコモとH2L、自分の顔に他者の口の動きと表情をリアルタイムに再現する技術を開発
頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させ、他者の口の動きを再現。
NTTドコモとH2Lは、H2Lが提供する「BodySharing」の新技術として、自分の顔に他者の口の動きと顔の表情をリアルタイムに再現する「Face Sharing」を共同開発したと発表した。
BodySharingとは、筋変位センサーを活用し、手や腕などの身体情報をコンピュータと相互伝達することにより、人やロボット、VR・ARのキャラクターへ体の動きを伝える技術。独自の触感提示技術により、他人の体験やVR・AR空間の体験を体に伝えることができる。
今回発表された「Face Sharing」は、頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させることで、他者の口の動きを再現する技術のこと。また、AIが指定する口の動きを再現することもできる。口元は物理的な動作が大きいが、表情をできるだけ遮らず、動作を制御できる筋周囲のみに電気刺激を与えて制御する。
複数のデバイスを用いることで、一人の口の動きを複数人に同時に再現することも可能。さらに、他者の顔の3D映像を自分に投影することで顔の表情を再現し、スピーカーを使用して他者の音声を再生することで声も再現できる。将来的には、口の動かし方の伝達が難しい外国語の発音や演技などを、直接口を動かして伝えることを目指しているという。
また、本技術を次世代モバイル通信技術の5Gと組み合わせることで、遠く離れた場所でも他者の口の動きや顔の表情をリアルタイムに再現したり、より多くの人数で同時に同一の体験を共有したりする成果が期待できる。なお、H2Lは電気刺激による身体制御のノウハウ提供および研究開発の運営、NTTドコモは5Gネットワークの提供および研究開発の運営を担っている。
今後の活用シーンとしては、言語の違いなどで会話が難しい場合に他者やAIの語学力を使って円滑にコミュニケーションを取る、プレゼンテーションの上手な人の口の動かし方や間の取り方を体感する、プロの歌手の口の動かし方を学ぶことなどが挙げられている。
関連記事
- ライブ映像でも顔にモザイクをかけられるAI動画技術「LiveMasq」 オークネットが開発
撮影中している動画内の人物にモザイクをかける動画技術をオークネットが開発。パイロット版の提供を開始した。 - ロボットは人手不足を解消できるか 清掃+警備+案内をこなす「複合型サービスロボット」オムロンが開発
オムロン ソーシアルソリューションズが、清掃・警備・案内の3機能に対応した「複合型サービスロボット」を開発した。 - マスクやサングラス着用でも顔認識 防犯&マーケティング向けAIサービス
トリプルアイズは、同社の画像認識プラットフォームを導入した防犯&マーケティングAIソリューションシステムを発表した。日本防犯システムが販売を行う。 - 衛星画像データ解析で野菜の収穫量を予測――JAXAベンチャー企業が実現
生産現場の衛星画像データをモニタリングすることで野菜の安定供給をサポートする管理サービスが始動。サービス開始に先立ちパートナー企業を募集中だ。 - AIでリアルタイムに交通量を調査 服装などのトレンド情報も収集可能
Intelligence Designは、IoT端末を用いて安価に交通量調査を行える自動化サービス「IDEA counter」を発表した。
Copyright © ITmedia, Inc. All Rights Reserved.