ニコニコ超会議2019

「超歌舞伎」がさらに進化　ディープラーニングで2D映像から3Dキャラ作る“変身の術”、NTTが開発

公開 2019年04月27日 19時48分

更新 2019年04月27日 07時48分

[ITmedia]

印刷する

　伝統芸能の歌舞伎とテクノロジーを融合した「超歌舞伎」が、「ニコニコ超会議2019」（4月27～28日、千葉・幕張メッセ）で上演された。2016年に上演された「今昔饗宴千本桜」（はなくらべせんぼんざくら）の脚本と演出を見直し、NTTの超高臨場感通信技術「Kirari!」の最新成果を演出に取り入れた。

「今昔饗宴千本桜」（はなくらべせんぼんざくら）

ディープラーニングで“変身の術”に挑戦

　超歌舞伎の見どころは、スクリーンに投影されたCGキャラクターの初音ミクと、中村獅童さんら生身の歌舞伎俳優との掛け合いだ。今年で4年目の上演となるが、中村さんの動きをリアルタイムで映像化する技術などが、毎年演出に取り入れられている。

　今回NTTは、ディープラーニング（深層学習）を用いて2D映像から3D空間情報をリアルタイムに生成するシステムを開発した。事前に撮影した過去の同様のシーンや人物の形状を基に、2D映像から骨格の3次元座標を推定して3DCGキャラクターを生成する。超歌舞伎の中では、演者の動きを基に別のCGキャラクターを生み出して動かすという新しい演出を行った。

ディープラーニング（深層学習）を用いて2D映像から3D空間情報をリアルタイムに生成するシステムを開発

　超歌舞伎上では「分身の術」として知られる、演者の動きをリアルタイムで映像化する技術でもディープラーニングを活用。映像からの被写体抽出を、より高精度に行えるようになった。

被写体抽出技術が進化

　赤外線を捉える「RGB-IRカメラ」を使って映像の情報量を増やしたことで認識の精度が向上。畳み込みニューラルネットワークを用い、映像から大まかに被写体の特徴量を抽出すると共に、その特徴量を精緻化する処理も施している。NTTの技術担当者は「去年に機械学習を導入したときは、ピクセルをチェックして画素の違いを見ていただけでした。ディープラーニングを使うことで、背景と被写体の“意味”を理解できるようになりました」と説明する。

　今昔饗宴千本桜は、4月28日も午後1時と午後4時に超会議のイベントホールでそれぞれ上演する。

印刷する