動画生成AIは“仕事”で使えるのか アドビ「Firefly」を検証、得意なこと・苦手なことを深堀りする:小寺信良の「プロフェッショナル×DX」(4/4 ページ)
生成AIは多くのツールが存在するが、生成AIによって作られた静止画や動画を全面的に採用したクリエイティブは、まだそれほど多くない。Adobeが2月に発表した「Firefly」の動画生成機能だが、実際どれほど使えるのだろうか。深堀りしてみたい。
これから指摘されるであろう課題
「画像から動画生成」は、リクエストの多かった機能だという。テキストプロンプトだけではなかなかイメージする映像にたどり着くことができないが、サンプルとなる静止画を食わせてそれを参考に動画にするほうが、無駄なトライアルが減るからである。
ただ生成動画は、1カット取り切りで使うわけではない。合成素材として使う場合には、アルファチャンネルの生成が必要になる。キーノートでの動画生成デモでは、黒バックに熱帯魚を泳がせ、それをスクリーン合成するという手法がとられた。
黒バックはレイヤー合成のモード変えればまあまあ抜けるのだが、全てのパターンでこれがうまくいくとは限らない。動画合成の基本はアルファチャンネルなので、合成用素材として使うには、アルファチャンネル付きの生成動画が必要になる。
だが現時点では、AI動画生成でアルファチャンネルを出すということに関しては、あまりニーズに気付かれていないように思える。静止画ではアルファチャンネル付きで出力できる生成AIもあるようだが、動画はまだ見当たらない。
おそらくこれは、アルファチャンネル付きの静止画が指定できるようになることが前提になるべきだろう。だがフロントの絵とアルファチャンネルの形状の整合性を取りながら動画生成させるのは、なかなか難易度が高そうだ。
そもそもアルファチャンネル付きで動画出力するなら、MP4ではだめで、Apple ProResやAvid DN×HDといったコーデックか、TIFFやPNGの連番ファイルで出力する必要がある。こうしたフォーマットへの対応も、今後求められるところだろう。
その画像や動画の出自を示すデータとして、コンテンツクレデンシャル情報がある。AIによるフェイク画像の判別ができるようになると期待されている機能だ。Adobeの製品で制作された画像にはこのCAI情報が付けられており、Fireflyで生成された画像や動画についても同様である。
試しに今回生成した猫の動画をCCのサイトで確認したところ、サムネイルは表示されないが、AIで生成したものであるということが分かる。
ただ、実写の映像の中に生成AI動画を挟んだ作品を制作した場合、CC情報をどのように埋め込むのかはまだよく分かっていない。例えば2時間の映画の中に1カットだけAI生成動画があった場合、作品全体にAIを使用したというCC情報をつけるのは誤りだ。なぜならば、問題になるのは「どのカットが生成AIなのか」だからである。
全体でエンコードされた動画に対して、一部分だけ区切って情報を持たせるのは難しい。全部が一体でエンコードされた場合、区切りはないからだ。おそらくは、先頭からその位置までのタイムコード情報とともに記載するというのが現実的かもしれない。だが全てのエンコーダーがCAI情報を正しく認識し、維持できるかは分からない。SNSに上げたとたん、サービス側のエンコーダーを通ってCAI情報が抜ける、ということもあり得る。
まだAI動画は、生成した状態がそのまま使えるケースは少ない。コントロールできる要素が少ない事もあるが、多くの動画のプロは請負で仕事をしているので、生成されたものでOKといえる立場にない。演出家がここをもう少しこうして、と言いだしたら、また1からプロンプトをたたいて生成し直しだ。しかもその結果が安定しないのでは、永遠にコンテンツが出来上がらない。
だが合成素材や背景を生成させるという使い方は、可能性がある。例えばパーティクルや、家のフワフワしたものをCGで作るには膨大な手間と計算が必要になるが、Fireflyでは何を作ってもだいたい30秒で出てくるというのは大きい。
動画生成AIはまだ始まったばかりで、これからどんどん使い勝手が上がってくるだろう。だが今のうちから果実が欲しいという人は、知恵を絞る必要がある。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
アドビ、動画生成AIを「Firefly」Web版にて提供スタート 商用利用可能
米Adobeは2月13日、日本で開催中のカンファレンス「Adobe MAX Japan」において、生成AI「Adobe Firefly」に動画生成モデル「Adobe Firefly Video Model」をベータ版として追加した。画像生成モデルと同様、商用利用が可能なAIモデルとして提供する。
どこまで使える? 動画の“続き”をAI生成できる「Premiere Pro」新機能 いろんなパターンで実験してみた
AIを活用した動画関連の機能として「カットの続きを作る」機能が、Adobe Premiere Proのβ版に実装された。すでに現在配布中のβ版、バージョン25.1.0(ビルド47)には搭載されているということで、いろんなパターンの動画で実験してみた。
動画生成AI「Sora」爆速レビュー 50本生成して分かった、得意なこと・苦手なこと
米OpenAIが一般提供を始めた動画生成AI「Sora」。リリース当初はアクセス集中により一部ユーザーが利用できない状態だったが、徐々に利用可能に。記者も使えるようになったので、いくつか思い付いた動画を生成してみた。
アドビ、生成AIを刷新 画像を貼って「このテイストで出力して」も可能に テキスト→動画生成も開発中
2023年3月にβ版を提供し、9月から正式提供をスタートした米Adobeの生成AI「Firefly」に早速アップデートが入った。プロンプトから画像を生成するモデルが後継の「Adobe Firefly Image 2 Model」に刷新された。
アドビ、初の動画生成AIモデル発表 テキスト・画像→動画のほか“別視点”も生成可能に 24年後半にβ版
Adobe初の動画生成AIモデル「Adobe Firefly Videoモデル」が登場した。テキストや画像から動画を生成できるだけでなく、クリップの尺を引き伸ばしたり、動画の別の視点を生成することも可能だ。
