Innovative Tech
動画の雑音をほぼ消す技術、米国などのチームが開発 声のみが強調されすぎてアフレコみたいな結果に
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米Dolby LaboratoriesとスペインのUniversitat Pompeu Fabraの研究チームが開発した「Universal Speech Enhancement With Score-based Diffusion」は、収録した映像のバックグラウンドノイズ（背景雑音）を強力に除去する技術だ。動画撮影した雑音を消し去り、話す声だけをくっきり残すことができる。強力すぎるため、映像がアフレコを挿入したみたいな仕上がりになってしまう。
野外で撮影した動画にこの手法を適応し、背景ノイズを除去し音声のみを強調している様子
実世界で録音した音声には必然的に背景の雑音や残響が含まれ、不快感や明瞭度の妨げになるためノイズ除去が行われる。最近では深層学習の登場によりノイズ除去技術の精度が向上した。
だが音声強調の観点ではノイズ除去だけが全てではなく、クリッピング、コーデックのアーチファクト、リバーブ、スペクトル操作、過度の圧縮、最適でないイコライゼーション、帯域制限、ラウドネスの不整合など考慮できる要素は他にも複数存在する。
研究ではこれら合計55種類のゆがみを扱い、補正するシステムを提案する。この手法は、スコアベース拡散を用いた生成モデルと、混合密度ネットワークを用いて強調を行う多重解像度解析の調整ネットワークから構成される。
このモデルで編集した音声は精度が高く、まるで声だけを切り取ったかのような出力結果を示す。
実験では専門家の参加者たちによる主観評価を行った。その結果、最新アプローチ12モデルをしのぎ、この手法が高品質な音声強調ができると分かった。古い映画や料理番組、屋外で撮影した映像などにこの手法を適応し音声のみを強調した比較を確認することができる。
Source and Image Credits: Serra, Joan, et al. “Universal Speech Enhancement with Score-based Diffusion.” arXiv preprint arXiv:2206.03065 (2022).
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「Xが情報収集に役立たない……」熊本地震で不満の声続出 「Twitterを返して」
-
2
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
3
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
4
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
5
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
6
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
7
Z世代に聞く次の流行、「AIイラスト」が1位に 「Claude Code」も上位
-
8
東野圭吾さん死去、Xなどで追悼相次ぐ 「ガリレオ」など数々の人気作、エンジニアから転身
-
9
NVIDIAやMicrosoftなど30社超、オープンAIの防御ツール共同開発の「Open Secure AI Alliance」設立
-
10
「痺れるほどにミスを繰り返す」Gemini 3.6 Flashは変わった？ 公開から1週間、当初のおバカ回答を今検証する
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR