iPhoneの自撮りで本物そっくりな動く3Dリアルアバター 米Metaが技術開発:Innovative Tech
米MetaのReality Labsの研究チームは、スマートフォンで自撮りした短時間のスキャン画像から、本物そっくりの3D頭部アバターを生成するシステムを開発した。異なる視点やフォトリアリスティックな表情を表現し、高い忠実度で再現する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米MetaのReality Labsの研究チームが開発した「Authentic Volumetric Avatars from a Phone Scan」は、スマートフォンで自撮りした短時間のスキャン画像から、本物そっくりの3D頭部アバターを生成するシステムだ。異なる視点やフォトリアリスティックな表情を表現し、高い忠実度で再現する。
現在、実在する人物のアバターを作成するためには膨大な人物データを取得する必要があり、そのデータを収集するには大規模なマルチビューキャプチャーシステムを必要とする。そのため軽量なデータキャプチャー、低遅延、許容できる品質でのアバター作成プロセスを自動化することが望まれている。
研究では、これら課題に挑戦するため、スマートフォンの短時間のキャプチャーだけでその人物に忠実な3D頭部アバターを作成する手法を提案する。既存の手法とは異なり、人間の外見の多様性を直接モデル化する複雑な作業を避け、代わりに少量のデータで新しいアイデンティティーに特化できるアバターモデルを生成する。
システムは、数百の人物からなるマルチビュービデオの高品質コーパスで学習したハイパーネットワーク形式の事前情報、ユーザーのニュートラルな表情のスマートフォンスキャンデータでモデルを調整する技術、追加の表情データで個人化モデルを微調整する逆レンダリングに基づく技術で構成される。
ユーザーはiPhone 12などに搭載のRGB-Dカメラで、手を動かしてニュートラルな顔をさまざまな視点から撮影し、加えて顔の正面からいくつかの表情をカメラで撮影する。
これら撮影したデータから、しわや歯などの人物特有の細部を保持したテクスチャとジオメトリにより、高品質な表現力を持つ頭部アバターを生成する。複雑なヘアスタイルや眼鏡のきれいな生成は難しいが、照明条件に安定しており視点が変わっても一貫した光の当たり具合を表現する。
実験によりこの手法が大規模なマルチビューキャプチャーシステムを使用して構築されたアバターと同等の優れた視覚的品質とアニメーション性であることが示され、性能の高さを実証した。生成されるアバターはリアルタイムにVRでレンダリングできるため、テレプレゼンスシステムへの応用が考えられる。
Source and Image Credits: Chen Cao, Tomas Simon, Jin Kyu Kim, Gabe Schwartz, Michael Zollhoefer, Shunsuke Saito, Stephen Lombardi, Shih-en Wei, Danielle Belko, Shoou-i Yu, Yaser Sheikh, and Jason Saragih. “Authentic Volumetric Avatars from a Phone Scan”
関連記事
- Meta、Facebook Gamingで“簡単にメタバース環境を構築できる”「Crayta」を無料公開
Metaはクラウドゲームサービス「Facebook Gaming」でゲーム作成ゲームの「Crayta」を無料公開した。CraytaはRobloxやFortniteに似たゲーム世界を構築できるプラットフォーム。ザッカーバーグCEOは「2D環境でメタバース体験を構築できる」と語った。 - Meta、AIチームを再編 AIトップは退社
Metaは、「AIが業務の中心となってきた」ことに合わせたAI部門の再編を発表した。研究部門から各製品部門にAI業務が分散される。ヤン・ルカン博士とFAIRは研究部門として存続する。 - Metaのシェリル・サンドバーグCOOが辞任 取締役は継続
2008年からMeta(当時はFacebook)のCOO(最高執行責任者)を務めてきたシェリル・サンドバーグ氏が今秋辞任する。同氏のFacebook投稿での辞任表明にはマーク・ザッカーバーグCEOが謝意をコメントした。後任はCGOのハビエル・オリバン氏。 - 手書きスケッチをきれいな3D図面に自動変換するシステム 英国やフランスなどの研究チームが開発
英University College London 、フランスの研究機関Inria、Microsoft Research Asia、Adobe Researchによる研究チームは、フリーハンドで描いた形状をCAD(Computer-Aided-Design)コマンドに自動変換するスケッチベースのモデリングシステムを開発した。 - 「ELDEN RING」のメイキングセミナーが開催、受講料無料 フロムの3Dグラフィックアーティストが登壇
CGや映像分野での画像処理機器の開発などを行うTooは、アクションRPG「ELDEN RING」のメイキングセミナーをオンラインで開催する。開発会社であるフロム・ソフトウェアのチーフ3Dグラフィックアーティストが登壇し、同作の開発秘話などを話すという。
Copyright © ITmedia, Inc. All Rights Reserved.