ITmedia NEWS > ネットの話題 >

「超歌舞伎」がさらに進化 ディープラーニングで2D映像から3Dキャラ作る“変身の術”、NTTが開発ニコニコ超会議2019

» 2019年04月27日 19時40分 公開
[村上万純ITmedia]

 伝統芸能の歌舞伎とテクノロジーを融合した「超歌舞伎」が、「ニコニコ超会議2019」(4月27〜28日、千葉・幕張メッセ)で上演された。2016年に上演された「今昔饗宴千本桜」(はなくらべせんぼんざくら)の脚本と演出を見直し、NTTの超高臨場感通信技術「Kirari!」の最新成果を演出に取り入れた。

歌舞伎 「今昔饗宴千本桜」(はなくらべせんぼんざくら)

ディープラーニングで“変身の術”に挑戦

 超歌舞伎の見どころは、スクリーンに投影されたCGキャラクターの初音ミクと、中村獅童さんら生身の歌舞伎俳優との掛け合いだ。今年で4年目の上演となるが、中村さんの動きをリアルタイムで映像化する技術などが、毎年演出に取り入れられている。

 今回NTTは、ディープラーニング(深層学習)を用いて2D映像から3D空間情報をリアルタイムに生成するシステムを開発した。事前に撮影した過去の同様のシーンや人物の形状を基に、2D映像から骨格の3次元座標を推定して3DCGキャラクターを生成する。超歌舞伎の中では、演者の動きを基に別のCGキャラクターを生み出して動かすという新しい演出を行った。

歌舞伎 ディープラーニング(深層学習)を用いて2D映像から3D空間情報をリアルタイムに生成するシステムを開発

 超歌舞伎上では「分身の術」として知られる、演者の動きをリアルタイムで映像化する技術でもディープラーニングを活用。映像からの被写体抽出を、より高精度に行えるようになった。

歌舞伎 被写体抽出技術が進化

 赤外線を捉える「RGB-IRカメラ」を使って映像の情報量を増やしたことで認識の精度が向上。畳み込みニューラルネットワークを用い、映像から大まかに被写体の特徴量を抽出すると共に、その特徴量を精緻化する処理も施している。NTTの技術担当者は「去年に機械学習を導入したときは、ピクセルをチェックして画素の違いを見ていただけでした。ディープラーニングを使うことで、背景と被写体の“意味”を理解できるようになりました」と説明する。

 今昔饗宴千本桜は、4月28日も午後1時と午後4時に超会議のイベントホールでそれぞれ上演する。

Copyright © ITmedia, Inc. All Rights Reserved.