Innovative Tech
唇の動きを読み取ってその人らしく音声合成 インド工科大「Lip2Wav」開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
インド工科大学ハイデラバード校と同カンプール校による研究チームが開発した「Learning Individual Speaking Styles for Accurate Lip to Speech Synthesis」は、話者の口唇の動きだけを基に自然な音声を生成する機械学習ベースの手法で、「Lip2Wav」という名称を持つ。
顔が映った動画を入力に、口唇の動きだけから自然な音声を生成する
口唇を正確に読み取るには文脈や話者固有の手がかりが重要であるとし、ランダムな話者を対象とするのではなく、特定の人の発話を長時間観察してその発話パターンを学習することに焦点を当てた。
個々の話者の口唇発話モデルを学習するために、英語話者5人による合計約120時間のビデオデータを収録し、大規模なデータセットを作成した。
Lip2Wavは口唇の動きのシーケンスを抽出するエンコーダと、高品質の音声合成を生成するデコーダで構成される。
口唇音声合成のためのLip2Wavモデル
Lip2Wavは顔が映った映像を入力に用い、3次元畳み込みニューラルネットワークで口唇運動をエンコードし、デコーダはこの口唇の動きを条件として音声合成に必要なメル周波数スペクトログラムを生成する。
生成された音声合成は、口唇の動きから発話する内容を読み取っているだけでなく、これまでの類似研究よりも機械っぽさが薄れ、より自然な声での出力が得られたとしている。比較はYouTube動画で確認できる。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
3
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
4
Z世代に聞く次の流行、「AIイラスト」が1位に 「Claude Code」も上位
-
5
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
6
東野圭吾さん死去、Xなどで追悼相次ぐ 「ガリレオ」など数々の人気作、エンジニアから転身
-
7
NVIDIAやMicrosoftなど30社超、オープンAIの防御ツール共同開発の「Open Secure AI Alliance」設立
-
8
「あ、その情報メモしたい！」を叶えるワイヤレスイヤフォン、Nothing「Ear (3a)」
-
9
有識者はGoogleやX、Meta、ドワンゴを名指しで批判……総務省、偽広告や誹謗中傷に発信・拡散前の対策求める
-
10
「痺れるほどにミスを繰り返す」Gemini 3.6 Flashは変わった？ 公開から1週間、当初のおバカ回答を今検証する
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR