OpenAI、テキストから3Dモデルを高速生成するAI「Point-E」をリリース

» 2022年12月21日 10時33分公開

[ITmedia]

　米AI研究企業OpenAIの研究者らは12月19日（現地時間）、テキストプロンプトから3Dオブジェクトを生成するAIシステム「Point-E」をオープンソース化したと発表した。

　同様のシステムとしては米Googleの「DreamFusion」などがあるが、発表論文によると、Point-Eは例えば単体のGPU（米NVIDIAの「V100」）でも3Dモデルを1～2分で生成できるという。

　Point-Eは、点群（point cloud）で3Dオブジェクトを生成する。名称の「E」は点群を効率的（Efficiently）に生成することに由来するという。

　3D生成は2段階で行われる。まずプロンプトを入力すると、レンダリングされた合成ビューが生成され、次に点群拡散スタックがこの画像を条件付けして3DのRGB点群を生成する。

Poine-Eでの3D生成の概念図（論文より）

　「この方法は、最先端の他の類似技術よりも性能は劣る」が、DreamFusionのようなマルチビュー最適化ベースの方法よりも短時間でサンプルが生成できるので、実用的になる可能性があるとしている。3Dモデルが短時間で容易に生成できるようになれば、ゲームや映画などの制作に役立ちそうだ。

　Point-EはGitHubでMITライセンス下で公開された。

文章から“3Dモデル”をAIが生成　米Googleなどが「DreamFusion」を開発
米Google Researchと米UC Berkeleyの研究チームは、テキストから3Dオブジェクトを生成するシステムを提案した研究報告を発表した。「DreamFusion」と呼ぶこの手法は、テキストから2D画像を生成する拡散モデルを用いて、テキストから3次元への合成を実行する。
Meta、動画生成AI「Make-A-Video」を発表　「肖像画を描くテディベア」などの作品公開
Metaが動画生成AI「Make-A-Video」を発表した。「Stable Diffusion」や「Midjourney」、「DALL・E 2」などの画像生成AIの動画版。「浜辺を走るユニコーン」などの生成作品を公開した。
文章から「3Dアバター」と「動き」を自動作成するAI　シンガポールと中国のチームが開発
シンガポールのNanyang Technological University、中国のSenseTime Research、中国のShanghai AI Laboratoryは、テキスト入力から3Dアバターとその動きをゼロショットで生成する機械学習を用いたシステムを開発した。
OpenAI、文章から画像を生成する新モデル「GLIDE」　前モデルよりも高品質な画像を生成
OpenAIの研究チームは、自然言語からフォトリアリスティックな画像を生成する機械学習の新しいモデル「GLIDE」を開発した。
AIで1枚の人物写真から高精細3Dモデル作成　Facebookなど開発
人物の正面からの写真があれば、背後も補完して3Dモデルを生成する夢の技術が開発された。