小寺信良の「プロフェッショナル×DX」
アドビとは異なるアプローチ 動画編集にどうAIを使うか、「DaVinci Resolve 20」の新機能を探る(1/2 ページ)
4月5日から9日まで、米国ラスベガスにて毎年恒例のNAB Showが開催された。数多くの製品やソリューションが公開されたが、プロ機の世界では発表後すぐに販売が開始される例は少ない。まずはNABで反応を見てさらに方向性を調整したのち、年内に発売といった流れが通常である。
Blackmagic Designも多くの新製品を発表したが、メジャーアップデートの「DaVinci Resolve 20」は即日β1が公開され、すぐに試すことができるようになっている。NAB発表製品で今すぐ触れる、数少ない製品の一つだ。
例年だと今後β版が2カ月ぐらいかけて6回から7回ほど出され、その後正式バージョンがリリースされるというスケジュールになる。
今回のバージョン20では100種類以上の新機能が搭載されたが、その中でAI機能は10種類以上にのぼる。プレスリリースから拾っていくと、以下のような機能が追加されたようだ。
- AI IntelliScriptでユーザーの脚本に基づくタイムラインを作成。
- AI会話マッチャーでクリップの音色、レベル、残響を一致。
- AI音楽エディターで音楽を任意の長さに自動的に編集。
- AIアニメート字幕で話し言葉をハイライトおよびアニメート。
- AIマルチカムSmartSwitchでアングル切り替えを自動的に実行。
- AIボイス変換。内蔵モデルとユーザー学習モデルを搭載。
- AI SuperScaleが3倍および4倍のアップスケーリングに対応。
- AI Magic Maskのバージョン2。ペイントブラシに対応。
- AI ResolveFX深度マップのバージョン2。
- AI IntelliCutで無音部分を削除。
- AI IntelliCutで話者ごとの会話音声をチェッカーボード化。
- AI IntelliCutで文字起こしによる話者情報を使用してADRキューを生成。
- AIオーディオアシスタントで最終ミックスを自動生成。
- AI音楽ビート検出でビートの表示とビートへのスナップが可能。
実際に試してみると、うまく動くものもあればそうでないものもある。まだ使い方の詳しい情報が出ていないので、今みんな探り探り使っているところだと思うが、今回はこれらのAIツールの意義と、編集という行為におけるAIの位置付けについて考えてみたい。
AIによるテキストと音声処理
上記の機能を整理してみると、その軸は「テキストのAI処理」と「音声のAI処理」による組み合わせということになるだろう。
例えば今回の目玉機能としてトップで紹介されている「AI IntelliScript」は、ユーザーが事前に作成した脚本をインポートすることで、その台本通りにしゃべっている音声をタイムライン上に切り出して並べてくれる機能だ。複数のテイクがある場合には、トラックを上に積み重ねて並べてくれるのだという。
これは要するに、テキストと音声をマッチングさせるという処理だ。事前に中間処理として、収録クリップはAIによる文字起こしを行う必要がある。その文字情報とインポートした台本を照らし合わせて動画を切り出すという、複合的な作業になる。あいにく筆者の環境ではうまく動かず、もしかしたらまだ日本語対応していない可能性もあるが、これはβバージョンを積み上げていくうちにうまく動くようになるだろう。
編集という行為…というか映像制作においては、台本はあくまでもガイドであり、最終的には撮れ高で判断していく。撮影現場ではアドリブも起こるわけで、そうしたものをうまく拾って物語を組み立てていくのが編集という仕事である。
AI IntelliScriptが提供する機能は、これですぐ完パケになるというようなものではなく、あくまでも素材整理のために使用されるという事になるだろう。これまではこうした整理も大変だった。なぜならば、撮影・収録は、台本の順番通りに頭から行われるわけではないからである。
バラバラのタイミングで撮影されてきた素材を台本通りの順番で並び替えるだけで大変な手間がかかったわけだが、それがAIによって整理されることになる。
この機能が手元で動いていないので詳細が分からないのだが、台本整理で引っ掛からなかったカットも別にまとめられるといいだろう。そうした台本外のカットの中にダイヤモンドが隠れている場合が往々にしてあるからだ。場合によってはそのカットを生かすために、台本やシナリオを変更することもある。
一方AI機能ではないが、カットページに「テレプロンプター」という機能が搭載された。これは画面上に台本などのテキストを表示させて、自動スクロールに合わせて喋りを収録するという機能だ。
こうした機能も、AIが活用できる余地がある。現時点では、指定されたタイムラインの範囲内に収まるように、台本のスクロールスピードが自動的に調整されるだけである。しかしAIが集音された音声を聞き取って、それがプロンプタの文章のどの部分かを判断し、自動的にスクロールスピードを調整するべきだ。実際に人間が操作するプロンプタというのは、そうした喋り手と操演者のあうんの呼吸で行われている。
音声とテキストの関係としては、「AIアニメート字幕」がある。これはDaVinci Resolveのテキスト書き起こし機能による字幕トラックに、「Word Highlight」というエフェクトを追加することで実現する。
現在は日本語対応がまだ完全ではないせいか、まだちゃんと言葉を追うことができていないが、喋っている言葉のタイミングに合わせて字幕上の文字がハイライトされていくという効果である。これなどもテキストと音声処理を組み合わせた機能だ。
どこにニーズがあるのかよく分からない機能ではあるが、YouTubeあたりだろうか。あるいは他言語を教える教育動画などには効果が高いかもしれない。手動で設定するのはとんでもなく面倒だが、自動でやってくれるならどこかで使いたい機能である。
Copyright © ITmedia, Inc. All Rights Reserved.
小寺信良の「プロフェッショナル×DX」
クラウド活用にリモート編集環境と、映像にまつわるプロフェッショナルの分野にDXの波が押し寄せている。プロの現場で何が起こっているのか。最新のITトピックを小寺信良氏が解説する。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
資さんうどん、従業員の退職理由などが外部から閲覧可能に 委託先の勤怠システムに設定不備
-
2
NEC、委託先の情報漏えいで謝罪 「セキュリティ事業を手掛ける企業として反省」
-
3
Apple、初のタッチ対応「MacBook Pro」発表 新型OLED搭載、国内価格は49万9800円から
-
4
JALの予約システムに不正アクセス 約9万人分の予約情報が漏えい 一部ではパスポート番号も
-
5
Google、「Gemini 4 Carbon」発表 「Argon」公開から2週間、サイバー防御能力などを強化
-
6
VTuber「兎田ぺこら」グッズにSNSで風評被害→示談成立 「保護者同伴で謝罪などがあったため」
-
7
GMO、ランサム被害にあった顧客に新しいPC提供へ 犯行グループは1人の顧客情報公開か
-
8
「対策を後回しにしたサーバが軒並み狙われている」 相次ぐ不正アクセスにラックCTOが警鐘
-
9
「ツイキャス」不正アクセスで停止 復旧までに「相応の時間」
-
10
Anthropic、独自の“創薬活動”に着手 社員1人のバイオ企業を買収、小児難病の治療薬研究を進める
ITmedia NEWS SNS
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR