どこまで使える？　動画の“続き”をAI生成できる「Premiere Pro」新機能　いろんなパターンで実験してみた：小寺信良の「プロフェッショナル×DX」（3/4 ページ）

» 2024年10月30日 17時30分公開

[小寺信良，ITmedia]

前のページへ 1|2|3|4 次のページへ

人の動きはどう生成されるか？

　こうしたフィラーのような風景カットの生成は、編集においてはそれほど喫緊の問題にはなりにくい。どうしてもそのカットでなければならないような、明確な動機が薄いからだ。

　一方人物が写っているカットの場合は、他に代わるものがなく、この続きが欲しいという動機が強い。実際に多く使用されるのは、人物の動きに対してであろう。

　そこで女性が1回ターンする動画を途中でカットし、生成AIがどのようにこの動画の続きを作るのかを観察してみた。このカットにはオリジナルの続きがあるが、あえてターンの途中でカットして、続きを生成させるという方法をとった。

　生成された動画を見てみると、人がターンするというアクションをAIが理解しており、その続きが生成されている。ただ、2回転するとは思わなかった。実際の動画と比較してみると、面白い。AIからすれば、1回転するだけという動きに、意味が見いだせなかったのだろう。

人物の回転する動きの続きを生成

実際の撮影とAI生成の比較。下が実際に撮影された動画

　実物と比較すると、背後の風景はかなり解像感が落ちる。このあたりは生成できないというより、背景に対してどれぐらいの精度でどれぐらいのマシンパワーを裂くのが現実的なのかという、アルゴリズムの問題だろう。

　なおオリジナルの動画は、150%のハイフレーム撮影である。こうしたハイフレーム動画に対しても生成できるのか試してみたところ、問題なく生成できるようだ。

ハイフレームレートに対する生成

　トレーナーのお腹の部分が、遠心力によって膨らんでいるが、これは変というよりも、そういうこともあり得ると考えさせられる。

　将来的には、モデルが着用している服の柄などから類推して、市販されている服のデータを参照し、その伸縮率を取得してくるということも可能になるかもしれない。

　では逆にタイムラプス撮影したものはどうなるのか。こちらは途中でガクンと解像度が落ちるのでどこからがAIなのか分かりやすい。映像的に速く流れ去る地面や草むらのディテールを再現するのは難しそうだが、空の雲はほとんど変わらない。このあたりも、どれぐらいのマシンパワーを使ってディテールを再現するかの閾値の問題のように見える。