カンペ見ても「カメラ目線」へ自動補正 動画のAI吹き替えツール「Captions」にPC版、実際に試してみた：小寺信良の「プロフェッショナル×DX」（2/3 ページ）

日本語で話す動画を、英語に自動翻訳＋アフレコしてくれるツール「Captions」。もともとはiOS版として提供されていたサービスだが、PC版（β版）が登場。AIを使った新機能も含め実際にテストしてみた。

[小寺信良，ITmedia]

カンペなどで外れた目線を「カメラ目線」に変更

　Captionsは、編集ツールというよりは、AI処理ツールというべき方向に特化しようとしている。字幕や吹き替え以外にできる処理として、「Eye Contact」というツールがある。パラメータは何もなく単にボタンを押すだけなのだが、これにより動画内の目線が外れている部分を、カメラ目線に変更してくれる。

　実際に試してみると、オリジナルと比べると目の色や大きさが若干違っているが、極力カメラ目線に変更しようとしているのが分かる。動き部分によっては、生成AIにありがちな不自然さが残る部分もあるが、短い動画であれば気が付かない程度のクオリティーにはなっている。

オリジナルと「Eye Contact」処理の比較

　以前ならカンペなどを見るために目線が外れているケースもあったが、昨今はスマートフォン撮影が増えたことで、カメラホールではなく自分が映っている姿を見てしまい、少し目線が外れているケースが多くなっている。こうした補正には役に立つだろう。

　もう1つのAI補正機能が、「Denoise Audio」だ。オーディオのノイズを抑えてくれる機能で、これもパラメータは何もない。AIが吹き替えた音声にはもともとノイズがないので、オリジナル音声を生かしたコンテンツに使うと言うことだろう。

　昨今こうしたAIによるノイズリダクションは編集ソフトにも組み込まれる傾向があり、Adobe Premiere Proでは「スピーチを強調」、BlackMagic Design DaVinci Resolveでは「Voice Isolation」として実装されている。

　実際にバックグラウンドにファンノイズがある音声を処理させてみたが、確かにノイズは軽減されているものの、若干のシュワシュワ感がある。これはイヤフォンのでの音声通話のノイズリダクションに近いレベルだ。Design DaVinci Resolveの「Voice Isolation」と比べると、その出来はかなり劣る。さらなる最適化が必要だろう。

CaptionsとDaVinci Resolveの音声処理の違い