1本の動画→8つの異なる視点で映像化 Stability AI、動画生成モデル「Stable Video 4D」発表
英Stability AIは7月25日、1つの動画から8つの異なる視点の動画を生成するAIモデル「Stable Video 4D」を発表した。現在Hugging Faceから利用できる。
Stable Video 4Dは、画像を動画に変換する「Stable Video Diffusion」モデルを基盤としている。ユーザーが1本の動画をアップロードし、任意の3Dカメラアングルを指定すると、8つの新しい視点の動画（5フレーム）を約40秒で生成する。
画像拡散モデル、動画拡散モデル、マルチビュー拡散モデルを組み合わせ、複数の新しい視点の動画を同時に生成可能。これにより、空間軸と時間軸の一貫性が大幅に向上するという。複数の視点とタイムスタンプで、オブジェクトの外観の一貫性を確保するだけでなく、複数の拡散モデルを使用する煩雑なスコア蒸留サンプリング（SDS）なしで、シンプルな4D最適化フレームワークを実現するとしている。
全体の4D最適化には約20～25分かかるものの、既存のモデルと比較して、より詳細で入力動画に忠実な新しい視点の動画を生成できるという。同社は「画像ベースの動画生成から完全な3Dダイナミック動画合成へと移行する、私たちの能力における飛躍的な進歩を表している」とする。
Stability AIは、Stable Video 4Dの応用分野として、ゲーム開発、動画編集、VRなどを想定する。同社は現在モデルの改良に取り組んでおり、合成によるデータセットを超えて、より幅広い実世界の動画を扱えるよう最適化を進めているという。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「悪用されそう」─―メルカリ「限定公開」機能、SNSで物議 同社に対策を聞いた
-
2
なぜ酒蔵の許諾なしに？ 「VTuberコラボ日本酒」騒動、主催者が経緯説明 仲介者による調整で「準備進んでいると認識」
-
3
「食事量は1日1200kcal以下、でも肥満」な人を14日間追跡調査 痩せない理由は……米コロンビア大などの研究
-
4
トランプ政権のサックス氏、AI「ペース調整」論に苦言 「規制がなければできないふりをやめろ」
-
5
「AIで効率化しても仕事が増えるだけ」──月○時間浮かせても報告しない社員たち 広がる“AI版静かな退職”
-
6
レベルファイブ発表会のAI演出が物議 「不自然」「内容よりAIが気になる」 日野社長「派手にしたかった」
-
7
本物そっくり“AI生成レシート“が経費精算の脅威に マネフォ「自力で見破るのは難しい」 企業はどう備える？
-
8
映画「バックルームズ」が怖くなかったマンガ家、基になったネット都市伝説にハマって本作の楽しみ方を理解する
-
9
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
10
AnthropicのアモデイCEO、AI開発の「ペース調整」訴えるエッセイ公開 アルトマン氏とマスク氏も賛同
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR