カンペ見ても「カメラ目線」へ自動補正 動画のAI吹き替えツール「Captions」にPC版、実際に試してみた:小寺信良の「プロフェッショナル×DX」(3/3 ページ)
日本語で話す動画を、英語に自動翻訳+アフレコしてくれるツール「Captions」。もともとはiOS版として提供されていたサービスだが、PC版(β版)が登場。AIを使った新機能も含め実際にテストしてみた。
完璧ではないものの……
タイトルとは違い、言葉のテロップ処理はなくてはならないというより、あったらよりベターという作業ではある。ただそれを演出効果としてオモシロおかしく使いたいというニーズは、日本においてはテレビの影響もあり、初期のYouTube動画でも積極的に使われてきた手法である。
しかしこれを手動で行うには大変な労力がかかることから、割に合わない作業とされてきた。これがAIを使って楽ができるのであれば、歓迎されるだろう。
ただ現状のCaptionsは、テロップの区切りや改行位置などはAI任せで、それが日本語の切れ目として正しくないケースもかなり散見される。手動で全部やるよりはマシだが、思ったような効果にするのであれば、かなり修正が必要になる。
このあたりのセンスは国ごとに違いがあり、各原語への最適化はかなり大変な作業になるだろう。幸いテンプレートの編集や自分で効果を作る事はできるので、各言語のネイティブスピーカーがそれぞれに、慣習として馴染むテンプレートの作成と、それの共有機能は欠かせないところかと思われる。
編集ソフトも多くはAIによる文字起こしに対応し、一般的な字幕を入れるところまではできるようになった。Captionsもデスクトップ版では編集機能を搭載し、オールインワン化を目指すのかと思っていたのだが、どうもそういう方向にはないようで、あくまでもテロップや翻訳を含むAIプラットフォーム化していくようだ。
今後Captionsのような特殊ツールが生き残る道は、各言語の翻訳と、テロップエフェクトの実用度にかかってくる。今は編集後の完パケを食わせて処理というスタイルだが、この機能がAPI化して編集ツールからアクセスできるようになると、また違った展開になるだろう。
関連記事
- 英語が苦手でも世界へ羽ばたける? 自分の声で“セルフ吹き替え”してくれるアプリがすごかった
先日、Twitterに流れてきた情報から知ることになったアプリ、「Captions」を試してみたところ、今後は多くのコンテンツがワールド化するかもしれないという手応えを感じた。現時点で確認できるCaptionsのインパクトと、これがもたらす将来の可能性を考えてみる。 - 「字幕大国ニッポン」でも役に立つ? DaVinci Resolve β版の文字起こし機能を試してみた
Blackmagic Designが、編集ツール「DaVinci Resolve」の次期バージョン18.5のパブリックβ版を公開している。新たに、AIによる文字起こし機能で日本語がサポートされたが、どの程度使えるのか実際に使って調べてみた。 - もう「テキストで動画編集」ができる時代に 試して分かったAIの進化っぷり
今ネット社会は、AIの進化に揺さぶられている。毎日画像生成AIで新しい画像が生み出され、次第に写真と見分けが付かなくなってきている。一方チャット系AIは検索補助ツールの領域を超えて、データ整形やアイデアツール、文書作成までこなせるようになった。この変化は動画編集にもおよんでいる。 - 動画の「あー」「えーと」を自動削除 「Premiere Pro」新機能はどれほど使えるか、実際に検証してみた
「Premiere Pro」に「フィラー音声の検出機能」が実装された。しゃべり途中のポーズ時間、すなわち「間(ま)」を自動検出する機能で、「えー」とか「あー」といった、間を持たせるための発音「フィラーワード」も検出・削除できる。実際どのように動くのか、またその先にある課題はなんなのか、検証してみた。 - Premiere Proにアップデート 絵文字対応などテキスト新機能 AIによる音声の自動タグ付けも β版公開
米Adobeが、動画編集ツール「Premiere Pro」の新機能を発表した。オーディオワークフローの改善や、フォント周りの機能追加を行った。パブリックベータ版として公開されており、Creative Cloudのサブスクリプションユーザーであれば誰でも利用できる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.