「超歌舞伎」がさらに進化 ディープラーニングで2D映像から3Dキャラ作る“変身の術”、NTTが開発:ニコニコ超会議2019
ドワンゴが開催するリアルイベント「ニコニコ超会議2019」で、今年も「超歌舞伎」が上演された。2016年の開催から今年で4年目。
伝統芸能の歌舞伎とテクノロジーを融合した「超歌舞伎」が、「ニコニコ超会議2019」(4月27〜28日、千葉・幕張メッセ)で上演された。2016年に上演された「今昔饗宴千本桜」(はなくらべせんぼんざくら)の脚本と演出を見直し、NTTの超高臨場感通信技術「Kirari!」の最新成果を演出に取り入れた。
ディープラーニングで“変身の術”に挑戦
超歌舞伎の見どころは、スクリーンに投影されたCGキャラクターの初音ミクと、中村獅童さんら生身の歌舞伎俳優との掛け合いだ。今年で4年目の上演となるが、中村さんの動きをリアルタイムで映像化する技術などが、毎年演出に取り入れられている。
今回NTTは、ディープラーニング(深層学習)を用いて2D映像から3D空間情報をリアルタイムに生成するシステムを開発した。事前に撮影した過去の同様のシーンや人物の形状を基に、2D映像から骨格の3次元座標を推定して3DCGキャラクターを生成する。超歌舞伎の中では、演者の動きを基に別のCGキャラクターを生み出して動かすという新しい演出を行った。
超歌舞伎上では「分身の術」として知られる、演者の動きをリアルタイムで映像化する技術でもディープラーニングを活用。映像からの被写体抽出を、より高精度に行えるようになった。
赤外線を捉える「RGB-IRカメラ」を使って映像の情報量を増やしたことで認識の精度が向上。畳み込みニューラルネットワークを用い、映像から大まかに被写体の特徴量を抽出すると共に、その特徴量を精緻化する処理も施している。NTTの技術担当者は「去年に機械学習を導入したときは、ピクセルをチェックして画素の違いを見ていただけでした。ディープラーニングを使うことで、背景と被写体の“意味”を理解できるようになりました」と説明する。
今昔饗宴千本桜は、4月28日も午後1時と午後4時に超会議のイベントホールでそれぞれ上演する。
関連記事
- 「超歌舞伎」、初音ミクがスクリーンの外に 鏡音リン応援する「鏡屋!」の声も
テクノロジーと伝統芸能が融合した「超歌舞伎」の新作「積思花顔競 祝春超歌舞伎賑」が上演。普段はスクリーン上に登場する初音ミクが、山車(だし)に乗ってステージ上を移動する演出も。 - “羽根なしドローン”なぜ生まれた? ドコモ担当者が語る
「ニコニコ超会議2019」で、NTTドコモがプロペラのないドローンのデモ機を展示している。 - 「ニコニコ超会議2019」に「日本電信電話ミカカランド」登場 羽根なしドローンなど展示
NTTが「ニコニコ超会議2019」に出展、プロペラがない“羽根なしドローン”を始め、同社の技術に関するさまざまな展示を行う。 - “羽根がないドローン”ドコモが開発 超音波振動で移動
ドコモがプロペラのないドローンを開発した。本体表面に取り付けた「超音波振動モジュール」が生み出す推進力で空中を移動する。
Copyright © ITmedia, Inc. All Rights Reserved.