「画像から動画生成」は、リクエストの多かった機能だという。テキストプロンプトだけではなかなかイメージする映像にたどり着くことができないが、サンプルとなる静止画を食わせてそれを参考に動画にするほうが、無駄なトライアルが減るからである。
ただ生成動画は、1カット取り切りで使うわけではない。合成素材として使う場合には、アルファチャンネルの生成が必要になる。キーノートでの動画生成デモでは、黒バックに熱帯魚を泳がせ、それをスクリーン合成するという手法がとられた。
黒バックはレイヤー合成のモード変えればまあまあ抜けるのだが、全てのパターンでこれがうまくいくとは限らない。動画合成の基本はアルファチャンネルなので、合成用素材として使うには、アルファチャンネル付きの生成動画が必要になる。
だが現時点では、AI動画生成でアルファチャンネルを出すということに関しては、あまりニーズに気付かれていないように思える。静止画ではアルファチャンネル付きで出力できる生成AIもあるようだが、動画はまだ見当たらない。
おそらくこれは、アルファチャンネル付きの静止画が指定できるようになることが前提になるべきだろう。だがフロントの絵とアルファチャンネルの形状の整合性を取りながら動画生成させるのは、なかなか難易度が高そうだ。
そもそもアルファチャンネル付きで動画出力するなら、MP4ではだめで、Apple ProResやAvid DN×HDといったコーデックか、TIFFやPNGの連番ファイルで出力する必要がある。こうしたフォーマットへの対応も、今後求められるところだろう。
その画像や動画の出自を示すデータとして、コンテンツクレデンシャル情報がある。AIによるフェイク画像の判別ができるようになると期待されている機能だ。Adobeの製品で制作された画像にはこのCAI情報が付けられており、Fireflyで生成された画像や動画についても同様である。
試しに今回生成した猫の動画をCCのサイトで確認したところ、サムネイルは表示されないが、AIで生成したものであるということが分かる。
ただ、実写の映像の中に生成AI動画を挟んだ作品を制作した場合、CC情報をどのように埋め込むのかはまだよく分かっていない。例えば2時間の映画の中に1カットだけAI生成動画があった場合、作品全体にAIを使用したというCC情報をつけるのは誤りだ。なぜならば、問題になるのは「どのカットが生成AIなのか」だからである。
全体でエンコードされた動画に対して、一部分だけ区切って情報を持たせるのは難しい。全部が一体でエンコードされた場合、区切りはないからだ。おそらくは、先頭からその位置までのタイムコード情報とともに記載するというのが現実的かもしれない。だが全てのエンコーダーがCAI情報を正しく認識し、維持できるかは分からない。SNSに上げたとたん、サービス側のエンコーダーを通ってCAI情報が抜ける、ということもあり得る。
まだAI動画は、生成した状態がそのまま使えるケースは少ない。コントロールできる要素が少ない事もあるが、多くの動画のプロは請負で仕事をしているので、生成されたものでOKといえる立場にない。演出家がここをもう少しこうして、と言いだしたら、また1からプロンプトをたたいて生成し直しだ。しかもその結果が安定しないのでは、永遠にコンテンツが出来上がらない。
だが合成素材や背景を生成させるという使い方は、可能性がある。例えばパーティクルや、家のフワフワしたものをCGで作るには膨大な手間と計算が必要になるが、Fireflyでは何を作ってもだいたい30秒で出てくるというのは大きい。
動画生成AIはまだ始まったばかりで、これからどんどん使い勝手が上がってくるだろう。だが今のうちから果実が欲しいという人は、知恵を絞る必要がある。
アドビ、動画生成AIを「Firefly」Web版にて提供スタート 商用利用可能
どこまで使える? 動画の“続き”をAI生成できる「Premiere Pro」新機能 いろんなパターンで実験してみた
動画生成AI「Sora」爆速レビュー 50本生成して分かった、得意なこと・苦手なこと
アドビ、生成AIを刷新 画像を貼って「このテイストで出力して」も可能に テキスト→動画生成も開発中
アドビ、初の動画生成AIモデル発表 テキスト・画像→動画のほか“別視点”も生成可能に 24年後半にβ版Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR