絡み合う手と手の動き、皮膚のシワや弾力をリアルにCG化 Facebookが技術開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米FacebookのReality Labs ResearchとAI Researchが開発した「Constraining Dense Hand Surface Tracking with Elasticity」は、動きを伴う手をリアルに再現する技術だ。両手が複雑に絡み合った際の表面のシワや弾力なども含めた細部にわたるCG化が可能だという。

指同士を絡み合わせてクネクネ動かしても、接触部やオクルージョン（前景に隠れること）含め詳細に追跡する

スキンを加えることで、本物のような手の質感を再現する

　人間の手は関節が多いため、手と手が絡み合うと複雑な接触とオクルージョン（前景に隠れること）が生じる。このため、リアルな手の動きをCGで再現するには、接触やオクルージョンの正確な再構築が重要となる。

　今回は多視点の画像追跡と物理ベースのアニメーションを組み合わせ、高度に絡み合い変形する手の追跡と表面の再現を高い忠実度で行う。

　同期された124台のカメラアレイシステムを使用し、毎秒30フレームで手のRGB画像をキャプチャー。フレームごとにキーポイントと3Dメッシュを取得し、アルゴリズムによって最終メッシュを出力する。

本手法の概要

　

　評価実験では、さまざまな外観の手をした被験者に片手と両手の複雑な動作（指を絡み合わせる、手のひらをマッサージするなど）をしてもらった。全ての動きに対して良好な追跡が行え、計算コストはかかるものの高密度な出力結果を示したという。

右手の親指で手のひらを円を描くようにマッサージしている肉の変形の様子を再現。細かいシワやひだの変形を捉えている

　

外観が異なる被験者5人の追跡結果

　動画はこちら。