検索
ニュース

好きな方向から視聴できる3D映像をAIで生成 PFNが「NeRF」技術を応用

複数カメラで撮影すると、それを3Dモデルに変換し、好きな方向から自由に閲覧できる3D映像を作り出す──。そんな技術「PFN 4D Scan」をPreferred Networksが開発した。

Share
Tweet
LINE
Hatena

 複数カメラで撮影すると、それを3Dモデルに変換し、好きな方向から自由に閲覧できる3D映像を作り出す──。そんな技術「PFN 4D Scan」を、AIベンチャーのPreferred Networks(PFN、東京都千代田区)が開発した。10月26日から幕張メッセで開催中の「メタバース総合展【秋】」のブースにて、デモ展示している。


3Dグラスをかけ、コントローラを使って視点を自由に切り替えるデモが行われた(写真はムービー)

 モデルの生成にはAIを活用した。「点群やメッシュを使った3Dモデルとは異なり、表現力が豊かで美しい」とPFN。また通常の動画と異なり、再生中の対象を上下左右さまざまな角度から自由に視聴できる。

「PFN 3D Scan」と「PFN 4D Scan」の解説

 これまでこうした映像の撮影には、グリーンバックの部屋で数十台のカメラを使い全方位から撮影する「ボリュメトリックキャプチャ」という技術が使われていた。PFN 4D Scanでは、持ち運び可能な撮影装置を使い、グリーンバックも不要なため、屋外でも撮影できるほか、これまで難しかった背景なども3Dモデル化し、再現できる。

 同社が商用化した、物品などの3Dスキャン技術「PFN 3D Scan」に、時間軸の概念を加えて開発した。

ディープラーニングを使った画像生成技術「NeRF」を応用

 特徴は、「NeRF(ナーフ)」と呼ばれるディープラーニングを使った画像生成技術を応用した点にある。対象を複数のカメラで撮影したら、それを学習データとしてニューラルネットワークのモデルを構築する。このモデルに、3D空間内の位置と向きを入力すると、動画の元となる情報が出力される。

 学習後のモデル自体が3Dモデルとなるため、髪の毛や布の揺れなど、従来の3Dモデルが不得意だった表現も美しく出力できる。PFN 3D Scanではメッシュモデルに出力し直しているが、PFN 4D Scanのデモでは、NeRFの学習後モデルからゲーミングPCを用いて直接映像を出力した。

 PFN 4D Scanは技術検証の段階で、現時点では商用化の予定はない。ただし写真に近いクオリティの3D映像を、視聴者が自分の好きなアングルから視聴できることから、コンサートやスポーツなどでの活用が期待される。

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る