Google、文章から動画を生成するAI「Imagen Video」を紹介 Metaに続き

Google Researchは、短い文章から短い動画を生成するAIシステム「Imagen Video」を発表した。Metaの「Make-A-Video」と同様にまだ不自然でぼやけてはいるが、テキストレンダリングや3D表示などが可能。悪用軽減対策ができるまではモデルとコードは公開しない。

[ITmedia]

　米Googleの研究部門Google Researchは10月5日（現地時間）、短い文章から動画を生成するAIシステム「Imagen Video」をサンプルを添えて発表した。「車を運転するパンダ」「静かな湖面に落ちた紅葉がImagen Videoの形に浮かぶ」など、文章から生成した多数の動画を披露した。

絵本からスプラウトが生えてくる動画

　Imagen Videoは、同社が5月に発表した文章から画像を生成する「Imagen」に基づいている。Imagenは「拡散モデル」で、多数の既存のデータサンプルを使って“破壊”と“回復”の方法を学習することで、新たなデータを生成する。

　Imagen Videoの動画生成の流れは大まかには、文章を受け取ったAIが24×48ピクセルで16フレーム、毎秒3フレームの動画を生成し、この動画から追加のフレームをアップスケールして予測して最終的には128フレーム、毎秒24フレームの720pの動画にする。

湖上の紅葉動画は5.3秒

　Google Researchは、Imagen Videoを1400万件の動画とテキストのペア、6000万件の画像とテキストのペア、公開されているLAION-400Mの画像とテキストのデータセットでトレーニングした。LAION-400MはStable Diffusionのトレーニングでも使われている。

　Imagen Videoの特徴の1つは、紅葉で「Imagen Video」と表示するように、テキストを読めるレベルの文字にレンダリングできる点だ。Stable DeffusionやDall・E 2では今のところそれが難しい。また、アーティストのタッチを取り入れたり、3Dにしたりすることもできる。

　とはいえ、Googleが披露したサンプルは米Metaが披露した「Make-A-Video」のサンプルと同様に、まだ不鮮明で不自然なところがあるものが多い。

　Google Researchは同日、より長い文章で2分以上のストーリー性のある動画を生成できるもう1つのAIシステム「Phenaki」も発表した。Imagen Videoチームのジョナサン・ホー氏は「PhenakiとImagen Videoの強みを組み合わせるのが楽しみ！」とツイートした。

　なお、Imagenと同様に、露骨で暴力的なコンテンツが生成される懸念が軽減されるまでは、Imagen Videoのモデルおよびソースコードは公開しない。