Innovative Tech

3Dビデオ会議専用の個室「VirtualCube」、同じ部屋にいるかのような体験が可能　米Microsoftなどが開発

公開 2022年04月04日 08時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米Microsoft Researchと中国のNanjing Universityの研究チームが開発した「VirtualCube: An Immersive 3D Video Communication System」は、遠方にいるビデオ会議のユーザーたちを集め、あたかも同じ部屋にいるかのように対話できる、個室サイズの3Dビデオ会議システムだ。

　スクリーンやセンサーなどが備わったボックスに入ると、互いの等身大の上半身がディスプレイに表示され、アイコンタクトを取りながら対話が行える。ユーザー2人の対面式、複数人ユーザーの円卓式、2人が隣り合い横目で見ながらのサイドバイサイド形式の3つのシナリオを実行できる。

VirtualCubeシステムの外観イメージと使用例。 VirtualCubeシステムを用いた対面式、複数人円卓対面式、横並び式のビデオ会議例が示されている

　遠隔地同士のビデオ会議が頻繁に行われている昨今、次の技術として、遠隔地のユーザーが同じ部屋にいるかのような錯覚を引き起こすシステムの開発に関心が集まっている。

　このシステムでは臨場感を高めるビデオ会議を実現するため、1人がビデオ会議できる大きさのボックス型システムを提案する。このボックスは、垂直な4つの壁で囲まれた物理スペースで、中央にユーザー用の固定席が1席あり、前壁に半円形のテーブルが取り付けられている。横並び式にする場合は、円形ではなくL字型のテーブルが配置される。

　前壁と両側壁には、遠隔ユーザーの等身大映像を表示するための大型スクリーン（65インチの4Kフラット液晶ディスプレイ）が合計3枚取り付けられており、前壁のスクリーン周囲には、ユーザーの3D形状や質感を撮影するためのRGBDカメラ（Azure Kinect）が6つ取り付けられている。後壁は、背景からユーザーを分離する作業を簡略化するために、灰色で塗られている。床面寸法は1.6×2.0m。

ハードウェアの配置図

ハードウェアのセットアップ。前面と各側面の壁に3つの大型スクリーンと、前面スクリーンの周囲に取り付けられた6つのAzure Kinectカメラで構成される

　システムは、前方に取り付けられたRGBDカメラにより座っているユーザーの上半身の3次元形状やカラーテクスチャデータを取得し、各ユーザーの周囲の大型スクリーンにその上半身情報をリアルタイムに表示する。ユーザーの顔や衣服の光沢反射など、さまざまな表面や微妙な表情を捉えることができる。

　システムは遠隔地にいる参加者を見ているかのように等身大でレンダリングするため、互いの視線を正しく保持したままレンダリングでき、ユーザー同士がアイコンタクトを取り、誰が自分に注目しているかを視覚的に認識しながらのやりとりが行える。

　ビデオ会議のスタイルは、ユーザー2人の対面会議、複数ユーザーの円卓会議、真横に隣り合うように並んで横目で見ながら行うサイドバイサイド形式の3つのシナリオを実行できる。

　このような人の共有に加え、ワークアイテム（文書、アプリケーション、その他の成果物を含む）の共有も行えるため、例えばサイドバイサイド形式では、ユーザー2人とそのデスクトップが全てビデオ会議の一部となり、資料のやりとりもスムーズに行え、あたかもユーザー2人が隣に座って一緒に作業しているかのような相互作用を体験できるという。

　このようなレンダリングを実行できるのは、全てのユーザーの3Dジオメトリとその部屋のジオメトリ（バーチャル環境内の寸法と絶対位置）の両方を把握しているため、正しいレンダリングに必要な全ての3D幾何学的変換を適切に実行していることが挙げられる。

VirtrualCubeシステムにおける座標変換

　さらに、レンダリング品質を向上させながらリアルタイム性を実現するために、研究チームは新しいビュー合成のためのV-Cube Viewアルゴリズムを開発した。実証実験の結果、 2拠点間のエンドツーエンドの遅延は約300msとなり、3人での円卓会議では23fps、2人での対面会議では30fpsを達成することができた。

Source and Image Credits: Y. Zhang et al., “VirtualCube: An Immersive 3D Video Communication System,” in IEEE Transactions on Visualization and Computer Graphics, doi: 10.1109/TVCG.2022.3150512.

印刷する