「貯金を切り崩しながら制作を続けてきた」――3DCGの女子高生キャラクター「Saya」を制作する「TELYUKA」(テルユカ)の石川友香さんはそう話す。2015年にTwitter上で初披露し、ネット上で「実写にしか見えない」と注目を集めたSayaは、AI(人工知能)技術と融合し、対面する人間の感情を推定してリアクションするまでに進化した。
8月24日、TELYUKAをはじめ、Sayaの制作チームがゲーム開発者イベント「CEDEC 2018」(パシフィコ横浜)に登壇し、Sayaに込める思いを語った。
Sayaは、CGアーティストの石川晃之さん、友香さん夫妻のユニット「TELYUKA」が作成した架空のキャラ。透明感のある肌、ふんわりとした髪の毛など、全てが3DCGで描かれている。夫妻が15年に画像を初公開すると、ネット上では「本物の人間にしか見えない」と反響を呼んだ。17年にはSayaが頬を膨らませたり、ほほ笑んだりする動画も公開するなど、進化を続けている。
そんなSayaの新プロジェクトが今年3月、米国のテクノロジーイベント「South By Southwest Trade Show」(SXSW)で披露された。98インチ4Kディスプレイに実物大のSayaが映し出され、イベントの来場者が目の前に立つと、近くのカメラが撮った顔の画像をAIがリアルタイムで分析して感情を推定。その結果に応じ、Sayaが恥じらったり、はにかんだりとリアクションするというものだ。
プロジェクトは、Sayaのリアクション(モーション)を用意するところから始まった。晃之さんは、ほほ笑む、悲しむといった基本的な動きから、あいさつ、手を振るといった来場者と対峙したときにとるポーズまで、感情ごとに約60のモーションを作成した。そこから厳選したモーションを組み合わせ、ディスプレイ上でループ再生。Sayaが常に動いているように見せることで臨場感を演出した。
モーション制作には、東映デジタルセンター ツークン研究所が協力。実際の女性の動きをキャプチャーしたデータを集め、CGを作り上げた。晃之さんは「通常の映像製作だと気にしないが、実在感を損なわないために、動きと動きがつながって見えるようにする必要があった」と難しさを話す。
キャプチャーしたデータでは、全てのモーションで、同じ位置から手が動き出すわけではなく、モーション終了時の手の位置も異なる。そうした動きをそのままCG化してつなぎ合わせると、モーションから別のモーションへと移る瞬間、違和感が生まれてしまう。そのため、キャプチャーしたデータに修正を加え、3DCGを制作する必要があった。
こうして完成したSayaのモーションと、AIの技術を組み合わせた。
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR