ITmedia NEWS > 速報 >
ニュース
» 2019年11月21日 07時30分 公開

Google、全身キャプチャと深層学習で3Dアバター生成 任意のシーン、照明に合わせレンダリング可能

既存の全身キャプチャシステムを改良し、ディープラーニング技術を投入することで、フォトリアリスティックな3Dアバターを実現する。

[山下裕毅,ITmedia]

 Googleの研究チームは、 ディープラーニング(深層学習)と独自の撮影機材を用い、3Dアバターを生成できるパフォーマンスキャプチャーシステム「The Relightables」を開発した。従来は難しかった、任意のバーチャル環境に合わせ、照明の当たり方を変える「再ライティング」が可能になり、表現のリアリズムレベルを大きく引き上げられる。

 Googleは、ボリュームキャプチャーシステム「LightStage」のカスタマイズ版を用い、捉えた人の動きをバーチャル環境で写実的にレンダリングする手法を研究・開発している。

photo The Relightables

 LightStageは、全方位に複数の照明とカメラを配置した直径3.5メートルの球形ドーム型キャプチャーシステム。大量の照明を制御しながら形状や質感を高精度で読み取れる。このLightStageをカスタマイズし、複数の深度センサーなどを設置することで、新たなボリュームキャプチャーシステムを構築した。

 具体的には、58台のRGBカメラ、32台のIRカメラ、16台の構造化照明パターンを投影できるプロジェクター、331個のカラーLEDライトで構成される。

 こうしてキャプチャーしたデータから、ディープラーニングで高品質な3Dモデルを作成。2種類の異なる照明画像から反射マップも推定する。これにより出力した人体の3D映像は、どんなバーチャル環境でも正確な照明条件で再構築され、リアルに表現できるとしている。

photo さまざまな照明環境に対応

 類似研究と比べても、任意のCGシーンでレンダリングする3Dアバターのリアリズムレベルを大幅に向上させている。メガネなどの透明で鏡面がある素材や、髪の毛などの細いジオメトリの再構築が今後の課題としている。

Copyright © ITmedia, Inc. All Rights Reserved.