初音ミクと中村獅童さん共演“超歌舞伎”はこうして生まれた ニコ超「今昔饗宴千本桜」技術の裏話

ニコニコ超会議で多くの人をうならせた新作歌舞伎「今昔饗宴千本桜」にはどんな技術が使われていたのか。その舞台裏を取材した。

[太田智美，ITmedia]

　ボーカロイド曲「千本桜」を原作とした新作歌舞伎「今昔饗宴千本桜」（はなくらべせんぼんざくら）が「ニコニコ超会議2016」で上演され、大きな話題を呼んだ。中でも見どころだったのが、歌舞伎俳優の中村獅童さん演じる佐藤四郎兵衛忠信が3D映像を用いて“分身”し、生身の本人とリアルタイムに同じ動きをする場面や、映像の初音ミクの口元から声が出るといった場面。実は、これら2つのシーンにはNTTの最新技術が使われていたという。その舞台裏を取材した。

　舞台で用いられたNTTの技術は、生身の人と3D映像がリアルタイムに同じ動きをするための「被写体抽出技術」と、被写体の口元から音声を出す「バーチャルスピーカ技術」の2つ。

　まずは被写体抽出技術について。演目後半、中村獅童さん演じる佐藤四郎兵衛忠信は、舞台の上手側に設置された黒いボックスの中で演じていた。実は、あのボックスに入ることでリアルタイムで「被写体の切り出し」を行っていたのだ。

　NTTの被写体抽出技術は、独自のアルゴリズムを用い、背景に特別な加工を施すことなく被写体（今回ならば中村獅童さん）だけを抽出できる。こうして抽出した映像を、中村獅童さんが実際に演じている場所とは異なる場所に立体投影することで、リアルな歌舞伎俳優と擬似3D虚像との“共演”を可能にした。

舞台の上手側に設置された黒いボックス

右のカメラで中村獅童さん演じる佐藤四郎兵衛忠信の動きを撮影し、リアルタイムで投影。左のカメラは予備

会場に設置されたモニター。リアルタイムに被写体を抽出される

「被写体抽出技術」の仕組み

　続いて、映像の初音ミクや中村獅童さんの口元から音声を出していたバーチャルスピーカ技術。これは、超音波を使用した「超指向性スピーカー」技術を用いたものだ。

　超指向性スピーカーは、会場ではなく舞台上の「音を出したい地点」に向けて設置し、超音波の拡散反射を利用する。スクリーンに超音波がぶつかり、跳ね返ってきた時に人間の耳に音が聞こえる――という仕組みだ。そのため観客は、映像の初音ミクや中村獅童さんの口元から音声が出ているように聞こえたというわけだ。

　また今回、スピーカーを舞台の端から端まで幅広く設置。動き回る映像の動きに合わせて有効にするスピーカーを制御し、出演者がどこにいても口元から声を出せるようにした。

「バーチャルスピーカ技術」の仕組み

会場に設置されたスピーカー。スピーカーが丸と四角の2種類あるが、これは形のみの違いで機能に差はないとのこと

　多くの人をうならせた舞台の裏に隠された最新技術。NTTは2020年に向け、これらのICT技術を用いた表現の知見を蓄積していきたいとしている。

（太田智美）