動画の「あー」「えーと」を自動削除 「Premiere Pro」新機能はどれほど使えるか、実際に検証してみた:小寺信良の「プロフェッショナル×DX」(3/3 ページ)
「Premiere Pro」に「フィラー音声の検出機能」が実装された。しゃべり途中のポーズ時間、すなわち「間(ま)」を自動検出する機能で、「えー」とか「あー」といった、間を持たせるための発音「フィラーワード」も検出・削除できる。実際どのように動くのか、またその先にある課題はなんなのか、検証してみた。
「語間」を詰めてYouTuber的なしゃべりに
ジャンプカットが気にならないのであれば、さらにしゃべりで間が空いているところを詰めるという作業も自動化できる。同じくフィルターから「語間」を選択すると、しゃべりの「間」の部分が選択できる。
どれぐらい間が空いていたら検出されるかという調整は、「検索設定…」で設定できる。デフォルトでは0.75秒になっているので、まずはこれで試してみる。削除方法はフィラーと同じだ。
さらに細かく間を詰めるため、0.3秒に設定して間を詰めてみた。2つを比べてみると、0.3秒のほうがなんとなく急いている感じがある。特に顕著なのが、「非常に〜」と「揺らいできたような〜」の間だ。ここは間を詰めたためにイントネーションがつながっておらず、特に気になる部分である。
一方で映像のほうは、細かいジャンプカットが頻発するために、落ち着かない感じになっている。これを緩和する方法を試してみる。
考えられる方法の1つは、編集点をトランジションエフェクトの「モーフカット」でつないでしまうというものだ。モーフカットはジャンプカット部分を演算によって滑らかに「溶かしてくれる」機能で、2015年に当時の「Premiere Pro CC 2015」に初めて搭載された。のちに他のハイエンド編集ソフトでも名前を変えて同様の機能を搭載している。
編集点全てにモーフカットを設定してみたが、Premiere Proのモーフカットはエフェクト部分が静止画処理になってしまうため、デフォルトの1秒では口パクが止まってしまう。トランジションタイムを4フレームまで短くすると、それほど違和感なくつながるようだ。
モーフカットはPremiere Proが先行して搭載したものの、その後の進化が止まってしまっている部分だ。モーフカットもAIによって、もう一皮化けられるだろう。さらに言えば、こうした自動カットのジャンプカットに関しては、AIが動画演算処理してつないでくれるようになるまで、それほど時間はかからないだろう。
加えてAIの進化で考えられるのは、カットした部分のイントネーションの違いを平たん化するという作業だろう。現時点ではしゃべりのピッチを細かく変更・調整するのは、オーディオのピッチシフト系エフェクトを使えば不可能ではない。試しに気になった「非常に〜」と「揺らいできたような〜」の間を、ピッチシフトで調整した。具体的には、「揺らいできた」という語句部分だけ、少しピッチを上げている。
もう少しうまくできそうな気がするが、Premiere Pro搭載のエフェクトではピッチを上げるといわゆる「ケロケロ声」になってしまうので、この程度が限界である。これでも最初に比べればだいぶ違和感がなくなっていると思うが、今後AIがそのあたりを調整してくれるのであれば、フィラーカットや語間カットは広く多用されるようになるだろう。さらに字幕も追加すれば、視聴者が字幕の方に気を取られるので、ますます映像や音声のつなぎ目の不自然さは気が付かなくなっていく。
コンテンツとして美しく仕上がるということは、クリエイターにとっては重要なポイントだ。今はまだかなりの部分を手動でやっているので、見る人が見れば編集箇所を指摘できる程度の仕上がりである。だがAIが編集点を処理するようになれば、本来言ってないことも編集によって違和感なく言わせることができてしまう。
動画における人為的なウソをどのように見分けていくのか、また動画の信ぴょう性をどう担保していくのか。これはAIの画像処理の進化と平行して考えていかなければならない問題だろう。
関連記事
- 動画内の「あの」「えーと」を一括削除 アドビ「Premiere Pro」にβアップデート
アドビがビデオ製品のアップデートを発表した。「IBC2023」に合わせたものでいずれもβ版。「Premiere Pro」では録音状態の悪い会話の品質向上や、「あの」「えーと」といったフィラーワードを自動で識別する機能を実装する。 - アドビ、生成AIを刷新 画像を貼って「このテイストで出力して」も可能に テキスト→動画生成も開発中
2023年3月にβ版を提供し、9月から正式提供をスタートした米Adobeの生成AI「Firefly」に早速アップデートが入った。プロンプトから画像を生成するモデルが後継の「Adobe Firefly Image 2 Model」に刷新された。 - 「テキストで動画編集」、Premiere Proで可能に Adobeの動画ツールに大型アップデート
アドビのビデオツール「Premiere Pro」「After Effects」に大規模アップデートがやってきた。AI技術を使った「文字起こしベースの編集」やGPUアクセラレーションの強化など多岐にわたる。5月から一般提供を開始する。 - 「Premiere Pro」などに生成AIツール、23年後半から 何ができるようになるのかAdobeが予告
アドビが3月に発表した生成AI「Adobe Firefly」について、23年内にも「Premiere Pro」などのビデオツールに導入すると発表した。生成AIが動画編集ツールに導入されると一体何ができるようになるのか。 - もう「テキストで動画編集」ができる時代に 試して分かったAIの進化っぷり
今ネット社会は、AIの進化に揺さぶられている。毎日画像生成AIで新しい画像が生み出され、次第に写真と見分けが付かなくなってきている。一方チャット系AIは検索補助ツールの領域を超えて、データ整形やアイデアツール、文書作成までこなせるようになった。この変化は動画編集にもおよんでいる。
Copyright © ITmedia, Inc. All Rights Reserved.