アドビ、初の動画生成AIモデル発表 テキスト・画像→動画のほか“別視点”も生成可能に 24年後半にβ版

Adobe初の動画生成AIモデル「Adobe Firefly Videoモデル」が登場した。テキストや画像から動画を生成できるだけでなく、クリップの尺を引き伸ばしたり、動画の別の視点を生成することも可能だ。

[山川晶之，ITmedia]

　米Adobeは9月11日（現地時間）、同社初の動画生成AIモデル「Adobe Firefly Videoモデル」を発表した。テキストや画像から動画を生成するだけでなく、クリップの尺を引き伸ばしたり、動画の別の視点を生成したりできるようになる。2024年後半にβ版として提供予定という。

プロンプトの他、カメラの画角や動きなどを指定して生成可能

　今回の動画生成AIモデルは「Firefly Text-to-Video」と「Firefly Image-to-Video」を用意。前者は、プロンプトから動画クリップを生成でき、後者は画像やイラストを動画に変換できる。カメラコントロールや参照画像を使用することで、タイムラインのギャップをシームレスに埋められるBロールの生成が可能という。

Firefly Text-to-Videoで生成した例（1）。いずれも2分以内に生成が完了したという

Firefly Text-to-Videoで生成した例（2）

Firefly Text-to-Videoで生成した例（3）

Firefly Text-to-Videoで生成した例（4）。文字のグリフを生かした映像生成も可能

　黒、あるいは緑の背景に対し、火、煙、水といったエフェクトも生成可能。ブレンドモードで編集中のクリップに重ねたり、Premiere ProやAfter Effects内でキーイングしたり、動画クリップにマッチしたエフェクトとして使用できる。

黒バックの火のエフェクトを生成し

それを実写クリップに重ねてエフェクトとして使用可能

　24年後半には、Premiere Proのβ版に「Generative Extend」が登場予定。クリップを延長できるようになり、足りなかった尺を埋めたり、トランジションをスムーズにしたりといったことが可能だ。

尺を伸ばす「Generative Extend」（タイムラインにあるピンクのクリップがAI生成したもの）

　Firefly Videoモデルについては他のFireflyと同様、使用許可を得たコンテンツのみでトレーニングしたとしており、Adobeはユーザーのコンテンツは学習に使用していないという。そのため、商業的に安全に利用できるよう設計されているとする。