1枚の写真→5秒の動画に “無料”で使える最高水準の動画生成AI「Dream Machine」が話題に
AIスタートアップの米Luma Labsは6月12日(現地時間)、動画生成AIサービス「Dream Machine」を発表した。動画の内容を指示するプロンプトと1枚の写真から5秒の動画を生成する。生成スピードは1コマ1秒としており、120コマを2分で生成できるとしている。
AIスタートアップの米Luma Labsは6月12日(現地時間)、動画生成AIサービス「Dream Machine」を発表した。動画の内容を指示するプロンプトと1枚の写真から5秒の動画を生成する。生成スピードは1コマ1秒としており、120コマ(24fpsで5秒)を2分で生成できるとしている。
高品質な動画生成AIは、米OpenAIの「Sora」や、中国Kuaishouの「Kling」というアプリがすでに発表されているが、Soraはまだ公開されておらず、Klingは利用に中国の電話番号が必要など、利用までのハードルが高かった。Dream Machineは、Googleアカウントさえあれば誰でも利用できる動画生成AIとなる。
Dream Machineの構築にあたり、米AWSと、同社のNVIDIA H100トレーニング基盤「SageMaker HyperPod」と協力。スケーラブルで効率的かつ、マルチモーダルなトランスフォーマーアーキテクチャを採用し、動画で直接トレーニングされているという。これにより、物理的に正確で一貫性のあるアクション満載のシーンを生成可能としている。
X(旧Twitter)には生成された動画が複数アップされている。旧来の動画生成AIが苦手としていた人物やキャラクターの見た目の一貫性を保ちつつ、動きの多いシーン描写を実現しており、「カメラワークが大きいのに絵崩れがあまりない」と評価する声も多い。すでにアクセスが集中しており、執筆時点では多くの処理待ち(順番待ち)が発生していた。
無料プランと有料プランの2種類があり、無料プランは1カ月あたり30回まで生成可能。有料プランは1カ月120回まで生成できるStandardプランが29.99ドル、400回まで生成できるProプランが99.99ドル、2000回まで生成できるPremierプランは499.99ドルとなる。
Luma Labsは、NeRFやGaussian Splattingに対応した無料の3Dスキャンアプリ「Luma AI」などを手掛けており、2024年1月には、プロンプトから10秒程度で3Dモデルを生成できる「Genie 1.0」をリリースしている。
関連記事
- OpenAI、テキスト→最長1分の動画の生成AI「Sora」発表 一般公開はせず
OpenAIは、テキストプロンプトから最長1分の動画を生成するAIモデル「Sora」を発表した。「AGIを達成するための重要なマイルストーンになる」としている。 - OpenAIが「Sora」の学習にYouTube動画を使ったとすれば違反──YouTubeのモーハンCEO
YouTubeのニール・モーハンCEOはBloombergとのインタビューで、OpenAIが「Sora」のトレーニングにYouTube動画を使っているとすれば、それは明らかな違反だと語った。 - Meta、独自の動画生成AI「Emu Video」と編集AI「Emu Edit」を紹介
Metaは、9月に発表した独自の画像生成基盤モデル「Emu」に基づく2つのモデルを発表した。4秒のリアルな動画を生成できる「Emu Video」とプロンプトで画像を編集する「Emu Edit」だ。 - ウィル・スミスがもりもりパスタを食べるAI動画、本人が再現 技術の進化に「手に負えなくなってきた」
俳優のウィル・スミスさんが顔や食器をぐちゃぐちゃにしながらもりもりパスタをむさぼる動画をご存じだろうか。あの動画を、なんと本人が再現した。 - Google、Gemini採用の動画生成ツール「Vids」を6月にWorkspace Labsで
Googleは、生成AI「Gemini」採用の“仕事用”動画生成アプリ「Google Vids」を発表した。Workspaceに追加の見込みで、6月にWorkspace Labsでリリースする計画だ。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.