Google、全身キャプチャと深層学習で3Dアバター生成　任意のシーン、照明に合わせレンダリング可能

公開 2019年11月21日 07時32分

更新 2024年04月02日 11時55分

[ITmedia]

印刷する

　Googleの研究チームは、ディープラーニング（深層学習）と独自の撮影機材を用い、3Dアバターを生成できるパフォーマンスキャプチャーシステム「The Relightables」を開発した。従来は難しかった、任意のバーチャル環境に合わせ、照明の当たり方を変える「再ライティング」が可能になり、表現のリアリズムレベルを大きく引き上げられる。

　Googleは、ボリュームキャプチャーシステム「LightStage」のカスタマイズ版を用い、捉えた人の動きをバーチャル環境で写実的にレンダリングする手法を研究・開発している。

The Relightables

　LightStageは、全方位に複数の照明とカメラを配置した直径3.5メートルの球形ドーム型キャプチャーシステム。大量の照明を制御しながら形状や質感を高精度で読み取れる。このLightStageをカスタマイズし、複数の深度センサーなどを設置することで、新たなボリュームキャプチャーシステムを構築した。

　具体的には、58台のRGBカメラ、32台のIRカメラ、16台の構造化照明パターンを投影できるプロジェクター、331個のカラーLEDライトで構成される。

　こうしてキャプチャーしたデータから、ディープラーニングで高品質な3Dモデルを作成。2種類の異なる照明画像から反射マップも推定する。これにより出力した人体の3D映像は、どんなバーチャル環境でも正確な照明条件で再構築され、リアルに表現できるとしている。