手書きのイラストと一緒に踊れるシステム、愛工大が開発 人の動きにイラストが反応：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　愛知工業大学の水野慎士研究室の研究チームが開発した「“Sketch Dance Stage Online”: Three-dimensional CG projection of hand-drawn characters to real space and interaction」は、オンラインユーザーが手描きスケッチした2次元キャラクターを遠方の現実空間に3次元CGキャラクターとしてプロジェクターで表示し、現地の人とインタラクションできるシステムだ。

　現地の人の動きに応じてCGキャラクターが動くため、現地の人はCGキャラクターに囲まれながらジェスチャー操作で制御し一緒に踊る体験が可能。オンラインユーザーは、自分が描いた絵と踊るその様子を遠隔から観察できる。

真ん中で踊る人の動きに応じて、周囲のCGキャラクターも同じ動きで踊る

人のジャンプに連動して、CGキャラクターが一斉にジャンプしている様子

　システムは、PC2台とプロジェクター、カメラ、Kinectセンサーで構成する。1台のPCは手描きキャラクターから投影用のCGキャラクターに変換し、もう1台のPCはプロジェクターの近くに配置したカメラからのライブ映像の配信に使用する。プロジェクターは床面にキャラクターを投影し、Kinectはキャラクターに囲まれる人や物の位置や動きを捉える。

システムの概要図

　オンラインユーザーは、PCやタブレットでWebページにアクセスし、さまざまな色や太さのペンを使ってキャンバスにキャラクターを描く。描いたキャラクター画像は、パーツ分割（頭や胴体、手足など10のパーツに分割）とリギングが自動設定（手動の修正も可能）され、事前に取得したデータ群の中からランダムに動きが割り当てられる。

Webページでキャラクターを描き、リギングを設定する

　作成したキャラクターを遠く離れた現実空間の床面に対し、プロジェクターで投影する。通常の投影では床面に対し2次元的に表示するだけなため、プロジェクターの位置と光軸に基づいてCGキャラクターの視点を設定し、プロジェクターの視野角に基づいて投影を行う。これにより、投影した画像はアナモルフォーシスの効果を持ち、プロジェクターの位置からCGキャラクターが立体的に見えるようにできる。

　加えて、プロジェクターの近くにカメラを設置することで、オンラインユーザーは自分の描いた絵を遠方から立体感のあるCGキャラクターとしてライブ映像で観察できる。PCからボタン操作でCGキャラクターの遠隔制御も可能だ。

　投影したCGキャラクターは、真ん中を中心に円を描くように回りながら与えられた動きをするため、その真ん中に人が立つと、周囲でCGキャラクターが踊っているように見える。Kinectで捉えた真ん中に立つ人の動きをCGキャラクターに反映する、ジェスチャー操作（手足の上げ下げや腰のひねり、ジャンプなど）を可能にしているため、CGキャラクターと一緒の動きで踊る体験を提供できる。

　その際、人の後ろをCGキャラクターが通る時に発生する双方間のオクルージョンを考慮しなければならない。そのため、背景と同じ色の動く人の3Dモデルを生成し、CGキャラクターとともにCG空間に再配置、投影用の画像を生成することで、人と重なるキャラクターの領域だけを消して、あたかも人の後ろを回り込んでいるかのように表現している。

人の後ろをCGキャラクターが回り込めるように、オクルージョンを考慮している

Source and Image Credits: Sora Ahn and Shinji Mizuno. 2021. “Sketch Dance Stage Online”: Three-dimensional CG projection of hand-drawn characters to real space and interaction. In SIGGRAPH Asia 2021 Posters (SA ’21 Posters). Association for Computing Machinery, New York, NY, USA, Article 23, 1-2. DOI:https://doi.org/10.1145/3476124.3488640