小寺信良の「プロフェッショナル×DX」
アドビとは異なるアプローチ 動画編集にどうAIを使うか、「DaVinci Resolve 20」の新機能を探る(1/2 ページ)
4月5日から9日まで、米国ラスベガスにて毎年恒例のNAB Showが開催された。数多くの製品やソリューションが公開されたが、プロ機の世界では発表後すぐに販売が開始される例は少ない。まずはNABで反応を見てさらに方向性を調整したのち、年内に発売といった流れが通常である。
Blackmagic Designも多くの新製品を発表したが、メジャーアップデートの「DaVinci Resolve 20」は即日β1が公開され、すぐに試すことができるようになっている。NAB発表製品で今すぐ触れる、数少ない製品の一つだ。
例年だと今後β版が2カ月ぐらいかけて6回から7回ほど出され、その後正式バージョンがリリースされるというスケジュールになる。
今回のバージョン20では100種類以上の新機能が搭載されたが、その中でAI機能は10種類以上にのぼる。プレスリリースから拾っていくと、以下のような機能が追加されたようだ。
- AI IntelliScriptでユーザーの脚本に基づくタイムラインを作成。
- AI会話マッチャーでクリップの音色、レベル、残響を一致。
- AI音楽エディターで音楽を任意の長さに自動的に編集。
- AIアニメート字幕で話し言葉をハイライトおよびアニメート。
- AIマルチカムSmartSwitchでアングル切り替えを自動的に実行。
- AIボイス変換。内蔵モデルとユーザー学習モデルを搭載。
- AI SuperScaleが3倍および4倍のアップスケーリングに対応。
- AI Magic Maskのバージョン2。ペイントブラシに対応。
- AI ResolveFX深度マップのバージョン2。
- AI IntelliCutで無音部分を削除。
- AI IntelliCutで話者ごとの会話音声をチェッカーボード化。
- AI IntelliCutで文字起こしによる話者情報を使用してADRキューを生成。
- AIオーディオアシスタントで最終ミックスを自動生成。
- AI音楽ビート検出でビートの表示とビートへのスナップが可能。
実際に試してみると、うまく動くものもあればそうでないものもある。まだ使い方の詳しい情報が出ていないので、今みんな探り探り使っているところだと思うが、今回はこれらのAIツールの意義と、編集という行為におけるAIの位置付けについて考えてみたい。
AIによるテキストと音声処理
上記の機能を整理してみると、その軸は「テキストのAI処理」と「音声のAI処理」による組み合わせということになるだろう。
例えば今回の目玉機能としてトップで紹介されている「AI IntelliScript」は、ユーザーが事前に作成した脚本をインポートすることで、その台本通りにしゃべっている音声をタイムライン上に切り出して並べてくれる機能だ。複数のテイクがある場合には、トラックを上に積み重ねて並べてくれるのだという。
これは要するに、テキストと音声をマッチングさせるという処理だ。事前に中間処理として、収録クリップはAIによる文字起こしを行う必要がある。その文字情報とインポートした台本を照らし合わせて動画を切り出すという、複合的な作業になる。あいにく筆者の環境ではうまく動かず、もしかしたらまだ日本語対応していない可能性もあるが、これはβバージョンを積み上げていくうちにうまく動くようになるだろう。
編集という行為…というか映像制作においては、台本はあくまでもガイドであり、最終的には撮れ高で判断していく。撮影現場ではアドリブも起こるわけで、そうしたものをうまく拾って物語を組み立てていくのが編集という仕事である。
AI IntelliScriptが提供する機能は、これですぐ完パケになるというようなものではなく、あくまでも素材整理のために使用されるという事になるだろう。これまではこうした整理も大変だった。なぜならば、撮影・収録は、台本の順番通りに頭から行われるわけではないからである。
バラバラのタイミングで撮影されてきた素材を台本通りの順番で並び替えるだけで大変な手間がかかったわけだが、それがAIによって整理されることになる。
この機能が手元で動いていないので詳細が分からないのだが、台本整理で引っ掛からなかったカットも別にまとめられるといいだろう。そうした台本外のカットの中にダイヤモンドが隠れている場合が往々にしてあるからだ。場合によってはそのカットを生かすために、台本やシナリオを変更することもある。
一方AI機能ではないが、カットページに「テレプロンプター」という機能が搭載された。これは画面上に台本などのテキストを表示させて、自動スクロールに合わせて喋りを収録するという機能だ。
こうした機能も、AIが活用できる余地がある。現時点では、指定されたタイムラインの範囲内に収まるように、台本のスクロールスピードが自動的に調整されるだけである。しかしAIが集音された音声を聞き取って、それがプロンプタの文章のどの部分かを判断し、自動的にスクロールスピードを調整するべきだ。実際に人間が操作するプロンプタというのは、そうした喋り手と操演者のあうんの呼吸で行われている。
音声とテキストの関係としては、「AIアニメート字幕」がある。これはDaVinci Resolveのテキスト書き起こし機能による字幕トラックに、「Word Highlight」というエフェクトを追加することで実現する。
現在は日本語対応がまだ完全ではないせいか、まだちゃんと言葉を追うことができていないが、喋っている言葉のタイミングに合わせて字幕上の文字がハイライトされていくという効果である。これなどもテキストと音声処理を組み合わせた機能だ。
どこにニーズがあるのかよく分からない機能ではあるが、YouTubeあたりだろうか。あるいは他言語を教える教育動画などには効果が高いかもしれない。手動で設定するのはとんでもなく面倒だが、自動でやってくれるならどこかで使いたい機能である。
Copyright © ITmedia, Inc. All Rights Reserved.
小寺信良の「プロフェッショナル×DX」
クラウド活用にリモート編集環境と、映像にまつわるプロフェッショナルの分野にDXの波が押し寄せている。プロの現場で何が起こっているのか。最新のITトピックを小寺信良氏が解説する。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
Anthropic、「Claude Opus 5」公開 Fable 5に迫る性能を半額で――サイバー安全策は緩和、拒否時は自動フォールバックも
-
3
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
4
「iPhone高騰」はこれからも続く? 中国CXMTに近づくApple、メモリ競合へのけん制が不発に終わりそうなワケ【後編】
-
5
「ニューロマンサー」実写ドラマ、Apple TV+で2027年1月配信開始へ
-
6
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
7
海外の新作バカゲー「電車アタック」にマンガ家が感心した理由 ブッ飛んだ内容と完成度の高さ、そして“日本”
-
8
「めっちゃカメレオン」公式Discord乗っ取り 担当者PCがマルウェア感染、管理者が全員BANに 現在は復旧
-
9
暑さ対策が熱い! 「猛暑対策展」で感じた、転んでもただでは起き上がらない日本人のエネルギー
-
10
スーパーに並んだ「ごちゃごちゃ生成AIポップ」が物議 “看板王”こと、きぬた歯科院長「これはアリ」
ITmedia NEWS SNS
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR