写真内の物体を3Dモデルに変換するシステム、米Snapらの研究チームが開発:Innovative Tech
米南カリフォルニア大学(USC)と、写真共有アプリ「Snapchat」などを開発する米Snapの研究チームは、さまざまな時間や場所、照明条件で撮影した画像から、対象物を抽出し3Dモデルに変換するシステムを開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米南カリフォルニア大学(USC)と、写真共有アプリ「Snapchat」などを開発する米Snapの研究チームが開発した「NeROIC: Neural Object Capture and Rendering from Online Image Collection□」は、さまざまな時間や場所、照明条件で撮影した対象物のオンライン画像を入力すると、画像に写る対象物を抽出し3Dモデルに変換するアプローチだ。
この手法は、オンラインで公開している同一対象物が写る画像群を使い、その対象物の3Dモデルを高い忠実度で再構築するシステムを提案する。通常、オンライン上の画像は、照明やカメラの向きなど異なる条件で撮影しているため、単純にこれらを組み合わせても正確な再現は難しい。
開発したシステムは、対象物のジオメトリと周囲の照明を推定し、適切な照明条件で対象物の3Dモデルをレンダリングする。新しいビューを合成できるだけでなく、新しい環境と照明条件において、撮影した物体を再照明し、周囲と調和した合成が行える。
ネットワークは、ジオメトリネットワークとレンダリングネットワークの主要な2段階モジュールで構成する。1段階目では、疎な画像と対象物を定義する前景マスクを入力に、複数の異なる視点の画像群から新たな視点ビューを作り出す「NeRF」(Neural Radiance Field)でRadiance field(輝度の場)を計算し、対象物の表面の法線とジオメトリを推定する。
2段階目では、推定した法線とジオメトリを使い、対象物に対しての照明条件(球面調和係数として表現)と表面材料特性(Phongレンダリングモデルを使用)と高品質表面法線を推測する。
このシステムを評価するために、さまざまな環境下で撮影した画像や、オンラインリソースから収集した物体の画像など、複数の実環境物体データセットを作成した。このような困難な設定において、最先端の代替手法と比較した結果、このアプローチは代替手法を定性的にも定量的にも上回り、かつ同等の学習効率と推定効率を維持していることを示した。
Source and Image Credits: Kuang, Zhengfei, Kyle Olszewski, Menglei Chai, Zeng Huang, Panos Achlioptas, and Sergey Tulyakov. "NeROIC: Neural Rendering of Objects from Online Image Collections." arXiv preprint arXiv:2201.02533(2022).
関連記事
- 実世界に溶け込むCG 空中に浮かずに配置し、光の当たり具合も適切に調整
オーストリアのグラーツ工科大学とVRVis Research Center、ニュージーランドのオタゴ大学の研究チームは、実世界に溶け込むようにバーチャルオブジェクトをレンダリングする技術を開発した。 - 映像内の猫や人から3Dアニメーションを作成 米Metaの研究機関などが開発
米Meta(元Facebook)の研究機関のMeta AIとMeta Reality Labs、米カーネギーメロン大学の研究チームは、単眼カメラで撮影した何気ない動画複数から、映像内に猫や人などからアニメーション可能な3Dモデルに再構築するシステムを開発した。 - 関西電力が「エヴァ電柱」開発 Wi-Fiやワイヤレス充電内蔵、大阪万博での活用目指す
関西電力は、5G・Wi-Fiスポット機能やカメラ、街路灯、デジタルサイネージなどを搭載した「スマートポール」の実証実験を始めた。スマートポールのデザインは、アニメ「新世紀エヴァンゲリオン」をモチーフにしたという。 - Amazonに「GPUガチャ」が出品 2%の確率でRX6000シリーズなどが当たる? たどたどしい日本語文章 現在は品切れ
NVIDIAとAMDのGPUを搭載したグラフィックスカードがランダムで入っているという商品が、Amazon.co.jpに出品され、SNSなどネット上で話題になっている。13日午後4時時点では、商品ページは存在するが在庫切れとなっており、再入荷は未定。価格は1万4000円から1万5000円だったという。 - YouTube史上初の100億再生、幼児向けダンス動画が達成 2位との差は23億回
YouTube史上初、再生回数100億回に到達した動画が現れた。100億回に到達したのは、「サメのかぞく」という幼児向け動画。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.