好きな方向から視聴できる3D映像をAIで生成 PFNが「NeRF」技術を応用

[斎藤健二，ITmedia]

　複数カメラで撮影すると、それを3Dモデルに変換し、好きな方向から自由に閲覧できる3D映像を作り出す──。そんな技術「PFN 4D Scan」を、AIベンチャーのPreferred Networks（PFN、東京都千代田区）が開発した。10月26日から幕張メッセで開催中の「メタバース総合展【秋】」のブースにて、デモ展示している。

3Dグラスをかけ、コントローラを使って視点を自由に切り替えるデモが行われた（写真はムービー）

　モデルの生成にはAIを活用した。「点群やメッシュを使った3Dモデルとは異なり、表現力が豊かで美しい」とPFN。また通常の動画と異なり、再生中の対象を上下左右さまざまな角度から自由に視聴できる。

「PFN 3D Scan」と「PFN 4D Scan」の解説

　これまでこうした映像の撮影には、グリーンバックの部屋で数十台のカメラを使い全方位から撮影する「ボリュメトリックキャプチャ」という技術が使われていた。PFN 4D Scanでは、持ち運び可能な撮影装置を使い、グリーンバックも不要なため、屋外でも撮影できるほか、これまで難しかった背景なども3Dモデル化し、再現できる。

　同社が商用化した、物品などの3Dスキャン技術「PFN 3D Scan」に、時間軸の概念を加えて開発した。

ディープラーニングを使った画像生成技術「NeRF」を応用

　特徴は、「NeRF（ナーフ）」と呼ばれるディープラーニングを使った画像生成技術を応用した点にある。対象を複数のカメラで撮影したら、それを学習データとしてニューラルネットワークのモデルを構築する。このモデルに、3D空間内の位置と向きを入力すると、動画の元となる情報が出力される。

　学習後のモデル自体が3Dモデルとなるため、髪の毛や布の揺れなど、従来の3Dモデルが不得意だった表現も美しく出力できる。PFN 3D Scanではメッシュモデルに出力し直しているが、PFN 4D Scanのデモでは、NeRFの学習後モデルからゲーミングPCを用いて直接映像を出力した。

　PFN 4D Scanは技術検証の段階で、現時点では商用化の予定はない。ただし写真に近いクオリティの3D映像を、視聴者が自分の好きなアングルから視聴できることから、コンサートやスポーツなどでの活用が期待される。