フェイフェイ・リー氏のWorld Labs、空間知能オムニモデル「Atlas」発表　少数の画像から3D空間やバレットタイム映像を生成

　米World Labsは9月1日（現地時間）、次世代の世界モデル（ワールドモデル）「Atlas」を発表した。テキスト、画像、動画、3Dをネイティブに扱う「オムニモデル」としてゼロから事前学習したもので、同社の空間生成AI「Marble」などに採用される予定。

　World Labsは、ImageNetの構築などで知られるスタンフォード大学のフェイフェイ・リー博士が共同創業した新興企業。「Spatial Intelligence」（空間知能）を掲げ、世界がどう見え、どう振る舞い、どう変化するかを理解する汎用の世界モデルの開発を進めている。

　Atlasのアーキテクチャは「マルチモーダル自己回帰拡散トランスフォーマー」。入力されたすべてのデータを1つの「空間コンテキスト」に統合する点が特徴で、各画像や深度マップは3D空間上の位置に紐づけられる。モデルはこのコンテキストと3D的な整合性を保ったまま続きを生成し、視野の外にあるものを想像する。

　主な用途は4つだ。1つ目のカメラ制御生成では、1枚から数枚の参照画像をもとに、指定した任意のカメラ位置と角度から、新たな視点の画像や動画を生成する。テキストによる曖昧な指示ではなく、カメラの幾何情報そのものを入力形式として扱うため、ショットの構図やカメラの動きを細かく指定でき、最大1440pの1分動画を出力できる。無関係な2枚の画像を空間コンテキスト上に配置すると、その間をつなぐ廊下や出入り口などをモデルが想像して補間することもできる。

　2つ目の空間再構成では、1枚から数十枚の入力画像から実在の空間を再構成する。専用の撮影機材や大量の視点は不要で、2～3枚の画像からでも忠実な再構成が可能とし、100枚超を空間コンテキストに取り込むこともできる。入力画像に写っていない部分はモデルが補完するため、画像を追加するほど「想像」の割合が減って実際の空間に近づくという。出力は2D映像だけでなく、点群や3Dガウシアンスプラッティングなどの明示的な3Dデータにも対応する。

　3つ目の時空間シミュレーションでは、スマートフォンなど一般的なカメラ3～5台で撮影した映像から時間を止めて自由な角度に構図を切り替える、いわゆる「バレットタイム」風の映像を作れる。加えてロボティクス向けのReal-to-Sim用途も想定しており、スマホ動画24フレームから大規模な環境を再構成した上で、その空間を移動するロボットの搭載カメラが捉えるRGBおよび深度データを生成する。物体の位置や照明、背景を変えたバリエーションも作れるため、学習・評価データの大量生成に使えるとしている。

　4つ目はテキストや画像からの画像生成で、360度パノラマの生成にも対応する。

　性能評価としては、カメラ制御生成について第三者の評価者が意図したカメラパスへの忠実さを比較した結果を公開した。Atlasを選んだ割合はMiniMax H3との比較で75％、Gemini Omni Flashとの比較で81％、Seedance 2.5との比較で94％で、カメラの軌道が複雑になるほど差が広がったとしている。少数の入力画像からの3D再構成では、DTUやETH3D、ScanNetなど複数のベンチマークで、Depth Anything 3やMapAnythingなどのオープンソースの再構成特化モデルを上回る精度を示したという。

　同社は、開発過程で規模を段階的に拡大したモデルを学習させた結果、計算量を増やすたびに新たな能力が現れたとしており、今後もスケーリングによって性能が向上し続けるとの見方を示している。

　Atlasは現時点で一般公開されておらず、一部の選ばれたパートナーを対象とした早期アクセスの段階にある。利用を希望する開発者や企業は申し込みフォームから登録し、同社からの連絡を待つ形になる。同社は、生成・再構成・シミュレーションのいずれにおいてもAtlasを世界モデルの標準的な選択肢にしていきたいとしており、今後はMarbleをはじめとする自社製品の次期バージョンにAtlasを組み込んでいく方針だ。あわせて、空間知能の研究開発を加速するため、研究職とエンジニア職の採用も進めているとしている。

関連記事

• 

  「空間知能」のWorld LabsがNVIDIA、AMD、Autodeskなどから10億ドル調達

• 

  フェイフェイ・リー博士のWorld Labs、写真から“探索できる”3D生成のAI

• 

  スタンフォード大のフェイ・フェイ・リー博士、人間中心AIラボ「HAI」立ち上げ

• 

  Waymo、DeepMindの「Genie 3」で自動運転をシミュレート　「もしも」の状況を無限に生成