マインクラフトの世界をリアルな世界に変換する「GANcraft」 NVIDIAなどが開発:Innovative Tech
NVIDIAと米Cornell Universityの研究チームは、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法を開発した。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
NVIDIAと米Cornell Universityの研究チームが開発した「GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds」は、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法だ。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。ゲームやアニメーションの背景、バーチャル空間の作成にも役立つ可能性を秘めている。
マインクラフトは、規則的なグリッド上にブロックを置くだけで3次元空間を構築できる、子どもでも可能な手軽さが魅力だが、各3Dブロックは大きく出来上がりの解像度は低くなる。今回は、この3Dブロックで構築した世界をより細かく表現した3Dシーンに変換する手法を提案する。
マインクラフトは視点の移動が可能なため、写実的な画像に変換した後も、どの方向から見ても違和感のない表現に仕上げなければならない。そこで登場するのが、複数枚の異なる視点の画像から新しい視点の画像を合成できるボリュームレンダリングを用いる「NeRF」だ。そのまま適応したいところだが、対象となるマインクラフトの世界とペアとなる複数視点の写実的な画像が存在しないためそれは難しい。
そこでこの手法では、任意の視点から見るマインクラフトの画像とペアとなる疑似的な写実画像(疑似的なグラウンドトゥルース画像)を新たに作成するアプローチで補完する。疑似的な写実画像は、事前に学習した画像間変換モデル(SPADE)を用いて投影したセグメンテーションマップから生成する。
疑似的な写実画像を学習に組み込むことでボリュームレンダリングを実現する。疑似的な写実画像からスタイル特徴を抽出し、MLP(Multilayer perceptron)でボリュームレンダリングを行う。ボリュームレンダリングでピクセル単位の特徴ベクトルを生成し、CNN(Convolutional Neural Network)を用いてピクセル単位の特徴マップを疑似的な写実画像と同じ大きさのRGB画像に変換する。
空の描画は重要な要素なため、この手法では空をモデル化するために追加のMLPを使用しリアルな空を表現している。
ベースラインの4つのモデルと比較した結果、定性的にこの手法がリアルな画像だと評価された。今回はマインクラフトを用いた結果を示したが、他の3Dブロックで構築した表現にも応用できるという。
Source and Image Credits: Hao, Z., Mallya, A., Belongie, S., & Liu, M. Y. (2021). Gancraft: Unsupervised 3d neural rendering of minecraft worlds. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 14072-14082).
関連記事
- ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。 - ポケモン風のキャラクターをAIが作成、デモページを公開 GANの高速化研究の一環として
ドイツのUniversity of TubingenとMax Planck Institute for Intelligent Systems、University Heidelbergの研究チームは、最先端のGANより学習が最大で40倍高速化する手法を開発。ポケモン風のキャラクターを生成できるデモページを公開している。 - レーザーで木を焦がして作る「炭の電子回路」 お茶大などが開発
お茶の水女子大学と東京工科大学、ヤフー、東京大学による研究チームは、レーザー加工機で木材にレーザーを照射し、一部を炭にすることで木材表面に直接電子回路を作成する手法を開発した。 - 全て糸でできた46インチのディスプレイ カラー映像の出力や折り曲げが可能
英ケンブリッジ大学などによる研究チームは、全て繊維素材で製造したディスプレイを開発した。ディスプレイ部にカラー映像を映し出せ、表示した状態で通常の布地のように折り曲げられる。 - 月面探査機「玉兔2」による月の裏側の調査報告 暗い緑色に光るゲル状物質を発見
中国やカナダ、ドイツの研究チームは、月面探査機「玉兔2」(Yutu-2)による月の裏側の移動探査について、初期の2年間で行った探査内容や分析結果を詳細に書き記した調査書を発表した。主に、25日間の探査記録(CE-4ミッション)をベースに報告する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.