アドビとは異なるアプローチ 動画編集にどうAIを使うか、「DaVinci Resolve 20」の新機能を探る：小寺信良の「プロフェッショナル×DX」（1/2 ページ）

[小寺信良，ITmedia]

　4月5日から9日まで、米国ラスベガスにて毎年恒例のNAB Showが開催された。数多くの製品やソリューションが公開されたが、プロ機の世界では発表後すぐに販売が開始される例は少ない。まずはNABで反応を見てさらに方向性を調整したのち、年内に発売といった流れが通常である。

　Blackmagic Designも多くの新製品を発表したが、メジャーアップデートの「DaVinci Resolve 20」は即日β1が公開され、すぐに試すことができるようになっている。NAB発表製品で今すぐ触れる、数少ない製品の一つだ。

発表と同時にβ版が登場したDaVinci Resolve 20

　例年だと今後β版が2カ月ぐらいかけて6回から7回ほど出され、その後正式バージョンがリリースされるというスケジュールになる。

　今回のバージョン20では100種類以上の新機能が搭載されたが、その中でAI機能は10種類以上にのぼる。プレスリリースから拾っていくと、以下のような機能が追加されたようだ。

• AI IntelliScriptでユーザーの脚本に基づくタイムラインを作成。
• AI会話マッチャーでクリップの音色、レベル、残響を一致。
• AI音楽エディターで音楽を任意の長さに自動的に編集。
• AIアニメート字幕で話し言葉をハイライトおよびアニメート。
• AIマルチカムSmartSwitchでアングル切り替えを自動的に実行。
• AIボイス変換。内蔵モデルとユーザー学習モデルを搭載。
• AI SuperScaleが3倍および4倍のアップスケーリングに対応。
• AI Magic Maskのバージョン2。ペイントブラシに対応。
• AI ResolveFX深度マップのバージョン2。
• AI IntelliCutで無音部分を削除。
• AI IntelliCutで話者ごとの会話音声をチェッカーボード化。
• AI IntelliCutで文字起こしによる話者情報を使用してADRキューを生成。
• AIオーディオアシスタントで最終ミックスを自動生成。
• AI音楽ビート検出でビートの表示とビートへのスナップが可能。

　実際に試してみると、うまく動くものもあればそうでないものもある。まだ使い方の詳しい情報が出ていないので、今みんな探り探り使っているところだと思うが、今回はこれらのAIツールの意義と、編集という行為におけるAIの位置付けについて考えてみたい。

AIによるテキストと音声処理

　上記の機能を整理してみると、その軸は「テキストのAI処理」と「音声のAI処理」による組み合わせということになるだろう。

　例えば今回の目玉機能としてトップで紹介されている「AI IntelliScript」は、ユーザーが事前に作成した脚本をインポートすることで、その台本通りにしゃべっている音声をタイムライン上に切り出して並べてくれる機能だ。複数のテイクがある場合には、トラックを上に積み重ねて並べてくれるのだという。

カット・エディットページでビン内のクリップを右クリックすると、「AI IntelliScript」にアクセスできる

　これは要するに、テキストと音声をマッチングさせるという処理だ。事前に中間処理として、収録クリップはAIによる文字起こしを行う必要がある。その文字情報とインポートした台本を照らし合わせて動画を切り出すという、複合的な作業になる。あいにく筆者の環境ではうまく動かず、もしかしたらまだ日本語対応していない可能性もあるが、これはβバージョンを積み上げていくうちにうまく動くようになるだろう。

　編集という行為…というか映像制作においては、台本はあくまでもガイドであり、最終的には撮れ高で判断していく。撮影現場ではアドリブも起こるわけで、そうしたものをうまく拾って物語を組み立てていくのが編集という仕事である。

　AI IntelliScriptが提供する機能は、これですぐ完パケになるというようなものではなく、あくまでも素材整理のために使用されるという事になるだろう。これまではこうした整理も大変だった。なぜならば、撮影・収録は、台本の順番通りに頭から行われるわけではないからである。

　バラバラのタイミングで撮影されてきた素材を台本通りの順番で並び替えるだけで大変な手間がかかったわけだが、それがAIによって整理されることになる。

　この機能が手元で動いていないので詳細が分からないのだが、台本整理で引っ掛からなかったカットも別にまとめられるといいだろう。そうした台本外のカットの中にダイヤモンドが隠れている場合が往々にしてあるからだ。場合によってはそのカットを生かすために、台本やシナリオを変更することもある。

　一方AI機能ではないが、カットページに「テレプロンプター」という機能が搭載された。これは画面上に台本などのテキストを表示させて、自動スクロールに合わせて喋りを収録するという機能だ。

カットページのテレプロンプター機能

　こうした機能も、AIが活用できる余地がある。現時点では、指定されたタイムラインの範囲内に収まるように、台本のスクロールスピードが自動的に調整されるだけである。しかしAIが集音された音声を聞き取って、それがプロンプタの文章のどの部分かを判断し、自動的にスクロールスピードを調整するべきだ。実際に人間が操作するプロンプタというのは、そうした喋り手と操演者のあうんの呼吸で行われている。

　音声とテキストの関係としては、「AIアニメート字幕」がある。これはDaVinci Resolveのテキスト書き起こし機能による字幕トラックに、「Word Highlight」というエフェクトを追加することで実現する。

喋りに合わせて該当テキスト部分がハイライトする「AIアニメート字幕」

　現在は日本語対応がまだ完全ではないせいか、まだちゃんと言葉を追うことができていないが、喋っている言葉のタイミングに合わせて字幕上の文字がハイライトされていくという効果である。これなどもテキストと音声処理を組み合わせた機能だ。

　どこにニーズがあるのかよく分からない機能ではあるが、YouTubeあたりだろうか。あるいは他言語を教える教育動画などには効果が高いかもしれない。手動で設定するのはとんでもなく面倒だが、自動でやってくれるならどこかで使いたい機能である。