Google、全身キャプチャと深層学習で3Dアバター生成 任意のシーン、照明に合わせレンダリング可能

[山下裕毅，ITmedia]

　Googleの研究チームは、 ディープラーニング（深層学習）と独自の撮影機材を用い、3Dアバターを生成できるパフォーマンスキャプチャーシステム「The Relightables」を開発した。従来は難しかった、任意のバーチャル環境に合わせ、照明の当たり方を変える「再ライティング」が可能になり、表現のリアリズムレベルを大きく引き上げられる。

　Googleは、ボリュームキャプチャーシステム「LightStage」のカスタマイズ版を用い、捉えた人の動きをバーチャル環境で写実的にレンダリングする手法を研究・開発している。

The Relightables

　LightStageは、全方位に複数の照明とカメラを配置した直径3.5メートルの球形ドーム型キャプチャーシステム。大量の照明を制御しながら形状や質感を高精度で読み取れる。このLightStageをカスタマイズし、複数の深度センサーなどを設置することで、新たなボリュームキャプチャーシステムを構築した。

　具体的には、58台のRGBカメラ、32台のIRカメラ、16台の構造化照明パターンを投影できるプロジェクター、331個のカラーLEDライトで構成される。

　こうしてキャプチャーしたデータから、ディープラーニングで高品質な3Dモデルを作成。2種類の異なる照明画像から反射マップも推定する。これにより出力した人体の3D映像は、どんなバーチャル環境でも正確な照明条件で再構築され、リアルに表現できるとしている。

さまざまな照明環境に対応

　類似研究と比べても、任意のCGシーンでレンダリングする3Dアバターのリアリズムレベルを大幅に向上させている。メガネなどの透明で鏡面がある素材や、髪の毛などの細いジオメトリの再構築が今後の課題としている。