Alibaba、1枚の画像と音声でリアルな動画を生成する「EMO」発表
中国AlibabaのInstitute for Intelligent Computingは2月29日（現地時間）、「EMO」（Emote Portrait Alive）というAIシステムを発表した。1枚の人物画像をアニメーション化し、話したり歌ったりする動画を生成する。音声から動画に直接合成するアプローチを採用することで、リアルな動きを実現している。
（画像：Alibaba）
オーディオ波形を動画フレームに変換することで、自然な音声に伴う微妙な顔の動きや人物固有のニュアンスをキャプチャするという。
EMOの概要（画像：Alibaba）
研究者らは、モデルのトレーニング方法について、250時間以上の映像と1億5000万以上の画像を蓄積したオーディオ動画のデータセットを構築したと説明した。このデータセットには、複数の言語によるスピーチ、映画やテレビ番組のクリップなどが含まれているという。
写真だけではなく、「モナリサ」などの絵画や米OpenAIが「Sora」の発表で紹介した架空の女性などがしゃべったり歌ったりする動画も紹介されている。
モナリサとSoraで一躍有名になった架空の女性（画像：Alibaba）
Alibabaは、このプロジェクトは学術研究と効果実証のみを目的としているという。GitHubにリポジトリはあるが、公開するかどうかは不明だ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
資さんうどん、従業員の退職理由などが外部から閲覧可能に 委託先の勤怠システムに設定不備
-
2
「低評価でキャラが悲しげな目」 モスバーガーのアンケートがSNSで話題 運営会社に狙いを聞いた
-
3
「裏垢暴露」のつもりが警察沙汰 暴露系YouTuberが著名VTuberの“なりすまし”に騙されていた
-
4
松屋のアプリに不正アクセス、約238万件の個人情報が漏えい 停止中の補償も予定
-
5
グッスマ、顧客の2800人のカード番号全16桁＋セキュリティコードなど流出か 下4桁は40万枚分
-
6
総務省、GMO攻撃者サイトの「ブロッキング」を通信各社に要請 報道
-
7
無印良品、不正アクセスで最大2726万件の会員情報漏えいか 退会済みのユーザーも対象
-
8
セガのスマホゲーム「チェンクロ」、セキュリティ問題で1～2カ月の長期メンテ 13年続く長寿タイトル
-
9
楽天カード、本人認証をワンタイムパスワードに統一 27年2月から順次
-
10
「ITノウハウ持つ人材少なく」 PHP脆弱性問題、31市町村でサイト一時停止継続
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR