Google、文章から動画を生成するAI「Imagen Video」を紹介　Metaに続き

公開 2022年10月06日 09時20分

[ITmedia]

印刷する

　米Googleの研究部門Google Researchは10月5日（現地時間）、短い文章から動画を生成するAIシステム「Imagen Video」をサンプルを添えて発表した。「車を運転するパンダ」「静かな湖面に落ちた紅葉がImagen Videoの形に浮かぶ」など、文章から生成した多数の動画を披露した。

絵本からスプラウトが生えてくる動画

　Imagen Videoは、同社が5月に発表した文章から画像を生成する「Imagen」に基づいている。Imagenは「拡散モデル」で、多数の既存のデータサンプルを使って“破壊”と“回復”の方法を学習することで、新たなデータを生成する。

　Imagen Videoの動画生成の流れは大まかには、文章を受け取ったAIが24×48ピクセルで16フレーム、毎秒3フレームの動画を生成し、この動画から追加のフレームをアップスケールして予測して最終的には128フレーム、毎秒24フレームの720pの動画にする。

湖上の紅葉動画は5.3秒

　Google Researchは、Imagen Videoを1400万件の動画とテキストのペア、6000万件の画像とテキストのペア、公開されているLAION-400Mの画像とテキストのデータセットでトレーニングした。LAION-400MはStable Diffusionのトレーニングでも使われている。

　Imagen Videoの特徴の1つは、紅葉で「Imagen Video」と表示するように、テキストを読めるレベルの文字にレンダリングできる点だ。Stable DeffusionやDall・E 2では今のところそれが難しい。また、アーティストのタッチを取り入れたり、3Dにしたりすることもできる。