初音ミクと中村獅童さん共演“超歌舞伎”はこうして生まれた　ニコ超「今昔饗宴千本桜」技術の裏話

　ボーカロイド曲「千本桜」を原作とした新作歌舞伎「今昔饗宴千本桜」（はなくらべせんぼんざくら）が「ニコニコ超会議2016」で上演され、大きな話題を呼んだ。中でも見どころだったのが、歌舞伎俳優の中村獅童さん演じる佐藤四郎兵衛忠信が3D映像を用いて“分身”し、生身の本人とリアルタイムに同じ動きをする場面や、映像の初音ミクの口元から声が出るといった場面。実は、これら2つのシーンにはNTTの最新技術が使われていたという。その舞台裏を取材した。

　舞台で用いられたNTTの技術は、生身の人と3D映像がリアルタイムに同じ動きをするための「被写体抽出技術」と、被写体の口元から音声を出す「バーチャルスピーカ技術」の2つ。

　まずは被写体抽出技術について。演目後半、中村獅童さん演じる佐藤四郎兵衛忠信は、舞台の上手側に設置された黒いボックスの中で演じていた。実は、あのボックスに入ることでリアルタイムで「被写体の切り出し」を行っていたのだ。

　NTTの被写体抽出技術は、独自のアルゴリズムを用い、背景に特別な加工を施すことなく被写体（今回ならば中村獅童さん）だけを抽出できる。こうして抽出した映像を、中村獅童さんが実際に演じている場所とは異なる場所に立体投影することで、リアルな歌舞伎俳優と擬似3D虚像との“共演”を可能にした。

　続いて、映像の初音ミクや中村獅童さんの口元から音声を出していたバーチャルスピーカ技術。これは、超音波を使用した「超指向性スピーカー」技術を用いたものだ。

　超指向性スピーカーは、会場ではなく舞台上の「音を出したい地点」に向けて設置し、超音波の拡散反射を利用する。スクリーンに超音波がぶつかり、跳ね返ってきた時に人間の耳に音が聞こえる――という仕組みだ。そのため観客は、映像の初音ミクや中村獅童さんの口元から音声が出ているように聞こえたというわけだ。

　また今回、スピーカーを舞台の端から端まで幅広く設置。動き回る映像の動きに合わせて有効にするスピーカーを制御し、出演者がどこにいても口元から声を出せるようにした。

　多くの人をうならせた舞台の裏に隠された最新技術。NTTは2020年に向け、これらのICT技術を用いた表現の知見を蓄積していきたいとしている。

（太田智美）

この記事の著者

関連記事

• 

  中村獅童さんと初音ミクがコラボ　新作歌舞伎「今昔饗宴千本桜」がすごかった

• 

  「歌舞伎はもともと庶民の娯楽」――伝統とネットカルチャーの融合、ボカロ原作「超歌舞伎」の見どころ

• 

  歌舞伎からドローン、コスプレまで――写真100枚で振り返る「超会議2016」

• 

  VRコンテンツに人だかり――「幼馴染の膝枕と耳かき」「失禁体験装置」など登場

• 

  「ニコニコ超会議2016」、来場者15万2000人　ネット来場者は減少

• 

  “痛車”の祭典に「ガルパン」「初音ミク」「ラブライブ！」など　ニコニコ超会議「超痛Gふぇすた」に熱視線

• 

  最強将棋ソフトを破った斎藤六段、人工知能とどう協力したのか？

• 

  スマホ48台で360度球体ディスプレイ　“3D金魚”が泳ぐ技術、NTTと東北大

• 

  ガチャンガチャン音を立てて動く　日本初の「機械式交換機」、ニコ超に展示

• 

  700年の“刀匠の技”を目の前で実演「超刀剣」　「刀は怖くない、もっと親しんでほしい」