Innovative Tech
映像内の猫や人から3Dアニメーションを作成 米Metaの研究機関などが開発
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米Meta(元Facebook)の研究機関のMeta AIとMeta Reality Labs、米カーネギーメロン大学の研究チームが開発した「BANMo: Building Animatable 3D Neural Models from Many Casual Videos」は、単眼カメラで撮影した何気ない動画複数から、映像内に映る変形可能な非剛体オブジェクト(今回は人と四足歩行の動物)をアニメーション可能な3Dモデルに再構築するシステムだ。映像内の動く猫や人などをウェイト調整を含んだ関節付き3Dモデルとして高忠実度に再現する。
剛体のシーンでは、従来のSfM(Structure from Motion)アプローチを利用し、Webで公開している画像群でランドマークや都市全体の3Dモデルを構築できるが、動画から変形可能な非剛体オブジェクトを3Dモデルに変換するのは難しい。
その場合は、周囲に大量の同期カメラやセンサーを設置したリグ内で撮影するか、SMPLなどの事前に定義した3D形状テンプレートに依存するのがこの分野では一般的だろう。しかし、前者では大規模な設備を必要とし未知なる映像に対応できず、後者では正確な復元や素早い動きに対応できず、どちらも課題が残る。
この手法は、これらを使用せず、何気ないRGBビデオ複数(数千フレームからなる非同期映像)から対象となる物体を3Dアニメーション化する手法を提案する。
具体的には、微分可能なボリュームレンダリングに基づき、ピクセルカラーや透明度、オプティカルフロー、高次元の特徴記述子など、観測した画像に含まれる複数の手掛かりとの間の一貫性を確保するように最適化する。
物体の関節を表現するために、新しいニューラルブレンドスキニングモデルを使い、カメラ空間と正準空間の間で3Dポイントを変換する。特定のインスタンスに先立って、DensePoseを微調整することで、何千もの同期していないビデオフレームを同じ正準空間に統合し詳細なジオメトリを再構築する。
このようにして出力した3Dモデルは精度が高く、先行研究の類似手法で出力した結果と比べても、より高い忠実度を示した。
Source and Image Credits: Yang, Gengshan, Minh Vo, Natalia Neverova, Deva Ramanan, Andrea Vedaldi, and Hanbyul Joo. "BANMo: Building Animatable 3D Neural Models from Many Casual Videos." arXiv preprint arXiv:2112.12761 (2021).
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
ドンキのAI社員「近藤あい」が正式デビュー 販促POPや動画で活躍へ 運営元「すでに裏に20人ぐらいいる」
-
2
Anthropicの数学者、「Claude」と共同で「リーマン予想」を証明したと主張 Leanコミュニティが「正しい」と認定
-
3
湘南美容クリニックのSBC、162万人分の個人情報流出 パスワードは「暗号化せず保存していた」
-
4
PHP「緊急」脆弱性、サービス一時停止の動き再び ウマ娘やグラブル、イープラスなど緊急メンテ
-
5
「楽天証券」漏えい、あなたは対象? ログインして「重要なお知らせ」確認を
-
6
美少女ゲーム「NIKKE」経由でマルウェア感染 北海道2自治体、委託先が認める
-
7
六花亭、カード番号全桁+セキュリティコード約8000件流出か 決済画面のプログラム改ざん
-
8
片山財務相、楽天証券は「顧客の不安解消に、できること全部していただきたい」
-
9
デジ庁、政府機関向けファイル共有サービスで漏えいか 7月末から第三者がアクセス
-
10
Mac版「Gemini」にユーザーの代わりにアプリを操作する「computer use」機能追加 まず米国で
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR