小寺信良の「プロフェッショナル×DX」

カンペ見ても「カメラ目線」へ自動補正　動画のAI吹き替えツール「Captions」にPC版、実際に試してみた（1/3 ページ）

公開 2024年03月29日 18時03分

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

　2023年7月にiOSアプリ「Captions」を紹介した。動画をアップロードすると、指定した言語へ翻訳した字幕を付けてくれるだけでなく、なんとオリジナルの声質をまねて別言語でアフレコまでしてくれるというツールである。

　昨年紹介した段階ではまだPC向けアプリは一般公開されていなかったが、まだβ版ではあるものの、その後公開が始まっている。基本的にはクラウド上で処理するので、アプリは単なるコントローラーおよびI/Oインターフェスにすぎないが、実際にコンテンツに利用するためには、スマホアプリだけではハンドリングが良くない。特に編集をデスクトップアプリで行っている場合は、デスクトップ版があってこそ、利用しやすくなる。

　現在Captionsは、開発リソースをiOS版に注力している。というのも、コンテンツの主戦場をTikTok、Instagram、YouTubeに設定しているからだろう。他のプラットフォーム向けとしては、Web版、Mac版のβ版が公開されているほか、Android版が近日公開予定となっている。今回はMacOS版0.1.68のβ版で何がどこまでできるようになったのか、検証してみたい。

テンプレートやオリジナルエフェクトが充実

　Web版とMacOS版は、機能的にはほぼ同じものを実装しているように見えるが、動作速度としてはMac版のほうがだいぶ早い。動作の安定性という面でもMac版のほうが優れており、現時点ではMac版を使うメリットは大きい。β版ゆえに動作テストは無料だが、結果をエクスポートする場合は月額9.99ドルもしくは年額89.99ドルを支払う必要がある。

Mac版CaptionsのUI

　最初に動画をサーバへアップロードする必要があるが、現時点では動画ファイルのサイズが750MBまでに制限されている。またクラウド上で字幕や吹き替えの変換を行う場合は、最長5分までに制限されている。従ってショートコンテンツの完成品をアップして字幕を付けるというプロセスが想定される。

　またしゃべりの背景にBGMが入っていた場合、AIが音声を読み取れない場合があるので、音楽ミックス前の素材を放り込む必要がある。UIとしてはiOS版に近いが、一度字幕の編集画面に移動するとアップロード画面に戻る方法がないなど、デスクトップアプリとしてはまだまだ未完成の部分もある。

　アップロードした動画に対して、オリジナル言語と変換したい言語を選択、字幕のみを翻訳するのか、音声もオーバーダビングするかを選択する。ボタンを押すと、クラウド上で変換され、編集画面へ移る。

動画のオリジナル言語と変換したい言語を選択する

　編集画面といっても、動画編集ができる機能は実装されていない。現時点で可能なのは、字幕のデザインや出し方をテンプレートから選んだり、あるいは自分でオリジナルのテンプレートを作るという作業だ。

　筆者のしゃべりを英語に翻訳し、字幕を付けてみたが、いわゆる映画字幕のようなものではなく、しゃべりに合わせて飛び出すような、ポップなテンプレートが多い。確かに全てのしゃべりに逐一リンクしたエフェクトを人の手で付けていくのは現実的ではなく、AIならではだといえる。

　字幕が出るタイミングや、強調するワードなども全てAIが判断している。一端AIで処理させて、気に入らないところだけマニュアルで修正するというスタイルだ。言葉の区切りなどはテンプレートには含まれておらず、テンプレートはあくまでも文字の出方を決定するだけである。文章の誤訳などの修正も、ワード単位やフレーズ単位で可能だ。

単語の切れ目やタイミングなどの修正機能はある

　オリジナルのテンプレート制作は、文字のカラーやシャドウ、動きなどを選択して組み合わせるという作業だが、それほど細かい指定ができるわけでもない。基本的に、こうした文字の出方が気に入るかどうか、というところで使えるかどうかが別れるという事だろう。とはいえ、インフルエンサーなどは簡単に差別化できるものならなんでも取り入れる可能性はあるわけで、現時点では翻訳というより、そうしたテロップ入れニーズに支えられているという事だろう。