実際の舞台袖からはこのように見える。背景(オーケストラ)が舞台から見て池澤さんの奥に投影され、虚像(バイオリニスト)が池澤さんの手前のスクリーンに投影されている。
この舞台の仕掛けは、大枠で次のようになる。舞台と客席の間に巨大な透明のスクリーンが設置されていて、これは観客に虚像を見せるために使う。虚像の人物のサイズは、舞台の上に実際に立っている人物と同じ等身大だ。ここが、臨場感を出すための重要な点の1つだ。
このような舞台の仕掛けを活用したデジタル舞台演出で有名なのは、2012年に行われたPerfumeのライブ「氷結SUMMER NIGHT」だ。映像と生身のアーティストを組み合わせ、3人組のPerfumeが6人で踊っているかのように見せるなど、視覚のマジックで観客を驚かせ、メディアアートに関わる人たちの間でも話題となった。
このような等身大の人物の虚像を投影できる舞台装置にさらなる最新技術を投入し、虚像として表現された人物の臨場感をめいっぱい高めようとする技術群が「Kirari!」だ。臨場感を更に高めるため、次の4つの技術を組み合わせている。
(1)任意背景リアルタイム被写体抽出技術(人物の映像だけを切り出す)
(2)臨場感デザイン技術(高臨場音像定位技術)
(3)超ワイド映像合成技術(複数台の4Kカメラで撮影した映像をつなぐ)
(4)超高臨場感メディア同期技術(映像、音声と空間的な情報を同期転送する)
この日の取材で聞いた注目点は(1)の「任意背景リアルタイム被写体抽出技術」だ。平たく言えば「人物の映像を背景から切り抜く技術」なのだが、その要求水準は高い。古くからあるクロマキー合成では特定の色で塗りつぶされた背景から人物など前景を切り抜くのだが、この「リアルタイム被写体抽出技術」では、画像認識技術などを駆使して任意の背景から人物を切り抜く。例えば、フィールドでボールを追う選手の人物だけを切り抜くこともできる。これらを切り抜く際には、カメラの他に距離センサーや温度センサーなどを用いて被写体の輪郭を特定しリアルタイムに人物を切り抜くことを実現させており、NTTの高度な画像処理技術が投入されている。
池澤:「切り抜きの精度がすごく高いですね。空手の演武なんて細部まで本当にきれいでした」
木下氏:「今のところ、人数が少ない場合の切り抜きはできているのですが、空手で組み合うとか、ラグビーで何人もがスクラムを組んでいる場面をリアルタイムにきちんと切り抜けるようになることが、今後の目標です」
この日は試すことができなかったが、(2)の「臨場感デザイン技術」も音響の工夫で臨場感を高める技術として興味深い。例えば、サッカー選手がボールを持ってリフティングしている時、ちょうど選手がいる場所からボールを蹴る音が聞こえるようにする技術だ。透明なスクリーンがあるため、虚像と同じ場所にスピーカーを設置することはできない。そこで超音波の拡散反射を利用することで、スピーカーを配置できない映像表示面の被写体そのものに対して音像を構築し、虚像がある場所から音が聞こえるかのような効果を作り出す。
2016年4月29日、30日に開催された「ニコニコ超会議2016」で、最も話題となったコンテンツ上映がある。中村獅童と初音ミクが共演する新作“超歌舞伎”の「今昔饗宴千本桜(はなくらべせんぼんざくら) 」だ。
【池澤あやかとミライを試そう!】 NTT研究所潜入シリーズ・後編 “お持ち帰り”できる高臨場の映像体験! 「kirari! fot Mobile」の仕掛けに池澤あやかが迫る!
「手のひらに、超リアルなあのコが…!」NTTの巨大研究開発センタに侵入し見せてもらった最新研究は、紙でできた“箱”…? そこに居たのは華麗に舞うあのコの姿。池澤あやかが理解に苦しんだその箱の仕組みとは?
メガネ型デバイス、3Dプリンタ、フリーエンジニア……池澤あやかが“ミライ”の可能性を探ります。
輸入キットで3Dプリンタを自作、オリジナルキャラクターを造ってみた(前編)
Copyright © ITmedia, Inc. All Rights Reserved.