　このカットで、もう少し続きが欲しいという場合に、追加で生成できるかテストしてみた。こうした用途に使えるのが、「静止画から動画生成できる機能」である。先に生成した動画の最終フレームを静止画として書き出し、これを次に生成する動画の先頭フレームとして指定する。プロンプトは同じだ。ちなみにFireflyで出力された動画のファイル名は、プロンプトに入力した文章がそのまま使用される。よって、これどんなプロンプトで生成したんだっけ？　ということがない。

　こうして続きを生成させたのが、こちらの動画である。

最初の出力の最終フレームから続きを生成した動画

　一見するとうまく続きが作られているように見えるが、実際にこの2つをつなげてみると、ちょっとだけつなぎ目が合わない。

2つの動画をつなげてみた結果

　5秒目のところがつなぎ目だが、動きが一瞬止まって、背景のサイズが少し動いているのが分かる。つまり、最初の動画の最終フレームと、2番目の動画の最初のフレームが、コマがダブるのである。まあ仕組みから言えばやむを得ないところではある。

　それ以外の部分では、画像のアスペクト比が若干変わっているところだ。こちらは横を0.995倍に縮小することで整合性をとった。こうして編集作業を行った結果が、次の動画である。

つなぎ目を調整した動画

　そのままつなぐよりは、ショックのないつなぎ目が実現できていると思う。ただ、猫の歩くスピードが変わってしまうという問題が出ている。このあたりはプロンプトを追加して再度生成させながら合わせて行くしかないわけで、滑らかにつなげるには案外時間がかかる作業になりそうである。

　しかしおおむねこの方法で、カットの続きを生成させるという方法論はありうるということは確認できた。ただ、カット尻を伸ばすだけならPremiere Proの「続きを生成」機能のほうが楽ではある。なにせタイムライン上のクリップを後ろに伸ばすだけだ。

　こちらは2秒間しか伸ばせないものの、フレームのダブりはないし、整合性という点では新たに生成させるよりは良好な結果が得られている。同じような機能だが、アプリ側に実装されることでより使いやすくなるという一例であろう。

Premiere Proの「続きを生成」で延長した動画

　Fireflyを用いて続きを生成するメリットは、そこからカメラワークなどを変更したいという場合に、ある程度コントロールできる可能性があるという点だろうか。現時点では静止画を指定すると、カメラ関連の機能は使えなくなってしまい、なりゆきでしか生成できないが、将来的には静止画を指定してもカメラの動きぐらいは指定できるようになるべきだ。

　一方で上記の映像は、そもそもがゼロからFireflyが考えた映像であり、その要素も全て把握していることから、再現性が高い映像が作れるという事である。また学習に使用されたデータも比較的キャラクターものが豊富に含まれることから、割とキャラクター生成には強い印象がある。

　一方生成にFireflyが関与していない画像から動画生成させると、かなり予想外の結果が起こる。次の動画は以下の写真を元に、「子猫がカバンから這い出してくる」というプロンプトで生成されたものだが、こうした非現実な壊れ方をするのが、ある意味AIらしいと言えばAIらしい。