文章から“VRシーン”を作成するAI 4K解像度でHDRパノラマを出力 シンガポールのチームが発表:Innovative Tech
シンガポールのNanyang Technological Universityによる研究者らは、4Kの解像度を持つHDRパノラマを生成するためのゼロショット・テキスト駆動型フレームワークを提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
シンガポールのNanyang Technological Universityによる研究者らが発表した論文「Text2Light: Zero-Shot Text-Driven HDR Panorama Generation」は、4Kの解像度を持つHDRパノラマを生成するためのゼロショット・テキスト駆動型フレームワークを提案した研究報告だ。ユーザーが入力する任意の文章に応じて、フォトリアリスティックな照明が含まれる3Dシーンを自動生成する。
HDRパノラマに代表される高品質なHDRI(High Dynamic Range Images)は、3Dシーンのフォトリアルな照明や360度反射をグラフィックスで表現するための最も一般的な方法の一つである。一般的な風景画像とは異なり、シーンの輝きを高ダイナミックレンジで360度表現しており、より多様できめ細かい内容を有している。
一方で、自然言語によるテキスト入力から画像を生成する学習モデルが流行している。しかしこれらの最先端モデルは、4KやHDRパノラマを出力することはできていない。
今回は4KのHDRパノラマをテキスト入力から生成するフレームワーク「Text2Light」を提案する。このフレームワークは、自然言語のテキストによって制御される3Dシーンにおいて、フォトリアリスティックな照明とシーンテクスチャを生成する。
フレームワークは2段階で構成する。1段階目では、シーンの説明文を入力として、事前学習したCLIPモデルの力を借りたモジュールで低ダイナミックレンジ(LDR)および低解像度(LR)の360度パノラマを生成する。2段階目では、1段階目で出力した画像の解像度とダイナミックレンジの両方を同時に向上させるモジュールで出力画像に仕上げる。
これによって、これまでの画像生成の最先端モデルでは困難であった4K解像度での出力を実現し、LDRからHDRへの変換の不安定さをクリアして、学習用のパノラマとテキストのペアの大規模データセットを不要としたゼロショットを達成する。
生成されたHDRパノラマの応用例として、3Dシーンの照明に直接使用してフォトリアルな反射や照明の演出、またテキストを使用して忠実度の高い3Dアセットを照明すること、VRシーンへの適応などが挙げられた。
他にも、階層的なフレームワークにより、生成したシーンをさらに編集し、フレーズの追加や追加の記述により特定の領域を操作することもできる。
Source and Image Credits: Chen, Zhaoxi, Guangcong Wang, and Ziwei Liu. “Text2Light: Zero-Shot Text-Driven HDR Panorama Generation.” arXiv preprint arXiv:2209.09898 (2022).
関連記事
- 「とんでもなくハイクオリティー」 話題の画像AI「Novel AI」でひたすら二次元美少女と美少年を生成してみた
画像生成AI「NovelAI Diffusion」が注目を集めている。有料会員しか利用できないにもかかわらず、Twitterではすでに「二次元美少女に強い」「とにかくハズレなくとんでもないハイクオリティーの画像がバンバン出てくる」などと話題に。同サービスの性能を試すべく、二次元の美少女・美少年をひたすら生成してみた。 - 文章から“3Dモデル”をAIが生成 米Googleなどが「DreamFusion」を開発
米Google Researchと米UC Berkeleyの研究チームは、テキストから3Dオブジェクトを生成するシステムを提案した研究報告を発表した。「DreamFusion」と呼ぶこの手法は、テキストから2D画像を生成する拡散モデルを用いて、テキストから3次元への合成を実行する。 - 話題の「AI絵師」って受け入れられる? 編集部メンバーで議論してみた
Twitterで話題の「AI絵師」。イラストレーターとしての在り方の是非が議論になっている。AIだけで絵を描く人を、イラストレーターとして受け入れられるのか。編集部のメンバーでそれぞれの受け止め方をぶつけてみた。 - 「SkebはツールとしてのAI利用を認めていない」 創業者が明言 規約には4年前から記載
「Skebでは現在、ツールとしてのAIの利用を一律して認めていない」──イラスト発注サイト「Skeb」を運営するスケブ(東京都千代田区)の創業者のなるがみ(@nalgami)さんはTwitter上にこんな投稿をした。 - 「われわれはNovelAIと関係ない」──海外のイラストサイト「Danbooru」が日本語で声明
海外のイラストサイト「Danbooru」は、画像生成AI「NovelAI Diffusion」(NovelAI)と無関係であると主張する声明を発表した。“NovelAIのことでお悩みになっている絵師様へ”とし、メッセージを公開している。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.