好きな方向から視聴できる3D映像をAIで生成　PFNが「NeRF」技術を応用

　複数カメラで撮影すると、それを3Dモデルに変換し、好きな方向から自由に閲覧できる3D映像を作り出す──。そんな技術「PFN 4D Scan」を、AIベンチャーのPreferred Networks（PFN、東京都千代田区）が開発した。10月26日から幕張メッセで開催中の「メタバース総合展【秋】」のブースにて、デモ展示している。

　モデルの生成にはAIを活用した。「点群やメッシュを使った3Dモデルとは異なり、表現力が豊かで美しい」とPFN。また通常の動画と異なり、再生中の対象を上下左右さまざまな角度から自由に視聴できる。

　これまでこうした映像の撮影には、グリーンバックの部屋で数十台のカメラを使い全方位から撮影する「ボリュメトリックキャプチャ」という技術が使われていた。PFN 4D Scanでは、持ち運び可能な撮影装置を使い、グリーンバックも不要なため、屋外でも撮影できるほか、これまで難しかった背景なども3Dモデル化し、再現できる。

　同社が商用化した、物品などの3Dスキャン技術「PFN 3D Scan」に、時間軸の概念を加えて開発した。

ディープラーニングを使った画像生成技術「NeRF」を応用

　特徴は、「NeRF（ナーフ）」と呼ばれるディープラーニングを使った画像生成技術を応用した点にある。対象を複数のカメラで撮影したら、それを学習データとしてニューラルネットワークのモデルを構築する。このモデルに、3D空間内の位置と向きを入力すると、動画の元となる情報が出力される。

　学習後のモデル自体が3Dモデルとなるため、髪の毛や布の揺れなど、従来の3Dモデルが不得意だった表現も美しく出力できる。PFN 3D Scanではメッシュモデルに出力し直しているが、PFN 4D Scanのデモでは、NeRFの学習後モデルからゲーミングPCを用いて直接映像を出力した。

　PFN 4D Scanは技術検証の段階で、現時点では商用化の予定はない。ただし写真に近いクオリティの3D映像を、視聴者が自分の好きなアングルから視聴できることから、コンサートやスポーツなどでの活用が期待される。

この記事の著者

関連記事

• 

  AIベンチャーPFN、美少女育成アプリ「MEMES」をリリース　容姿や発言内容に深層学習を活用

• 

  複数写真から自由視点画像を生成　Googleなど「NeRF」開発

• 

  一般人が撮影したネット上の写真から建物を高品質に3D化するGoogleの機械学習技術

• 

  1枚のパノラマ写真から室内を3次元で忠実に再現　Googleなどが開発

• 

  1枚のイラストが10秒でVTuber用2Dモデルに、PFNのAI活用　ライブ配信アプリ「IRIAM」に新機能