　米Microsoft Researchと中国のNanjing Universityの研究チームが開発した「VirtualCube: An Immersive 3D Video Communication System」は、遠方にいるビデオ会議のユーザーたちを集め、あたかも同じ部屋にいるかのように対話できる、個室サイズの3Dビデオ会議システムだ。

　スクリーンやセンサーなどが備わったボックスに入ると、互いの等身大の上半身がディスプレイに表示され、アイコンタクトを取りながら対話が行える。ユーザー2人の対面式、複数人ユーザーの円卓式、2人が隣り合い横目で見ながらのサイドバイサイド形式の3つのシナリオを実行できる。

VirtualCubeシステムの外観イメージと使用例。 VirtualCubeシステムを用いた対面式、複数人円卓対面式、横並び式のビデオ会議例が示されている

　遠隔地同士のビデオ会議が頻繁に行われている昨今、次の技術として、遠隔地のユーザーが同じ部屋にいるかのような錯覚を引き起こすシステムの開発に関心が集まっている。

　このシステムでは臨場感を高めるビデオ会議を実現するため、1人がビデオ会議できる大きさのボックス型システムを提案する。このボックスは、垂直な4つの壁で囲まれた物理スペースで、中央にユーザー用の固定席が1席あり、前壁に半円形のテーブルが取り付けられている。横並び式にする場合は、円形ではなくL字型のテーブルが配置される。

　前壁と両側壁には、遠隔ユーザーの等身大映像を表示するための大型スクリーン（65インチの4Kフラット液晶ディスプレイ）が合計3枚取り付けられており、前壁のスクリーン周囲には、ユーザーの3D形状や質感を撮影するためのRGBDカメラ（Azure Kinect）が6つ取り付けられている。後壁は、背景からユーザーを分離する作業を簡略化するために、灰色で塗られている。床面寸法は1.6×2.0m。

ハードウェアの配置図

ハードウェアのセットアップ。前面と各側面の壁に3つの大型スクリーンと、前面スクリーンの周囲に取り付けられた6つのAzure Kinectカメラで構成される

　システムは、前方に取り付けられたRGBDカメラにより座っているユーザーの上半身の3次元形状やカラーテクスチャデータを取得し、各ユーザーの周囲の大型スクリーンにその上半身情報をリアルタイムに表示する。ユーザーの顔や衣服の光沢反射など、さまざまな表面や微妙な表情を捉えることができる。

　システムは遠隔地にいる参加者を見ているかのように等身大でレンダリングするため、互いの視線を正しく保持したままレンダリングでき、ユーザー同士がアイコンタクトを取り、誰が自分に注目しているかを視覚的に認識しながらのやりとりが行える。

　ビデオ会議のスタイルは、ユーザー2人の対面会議、複数ユーザーの円卓会議、真横に隣り合うように並んで横目で見ながら行うサイドバイサイド形式の3つのシナリオを実行できる。

　このような人の共有に加え、ワークアイテム（文書、アプリケーション、その他の成果物を含む）の共有も行えるため、例えばサイドバイサイド形式では、ユーザー2人とそのデスクトップが全てビデオ会議の一部となり、資料のやりとりもスムーズに行え、あたかもユーザー2人が隣に座って一緒に作業しているかのような相互作用を体験できるという。

　このようなレンダリングを実行できるのは、全てのユーザーの3Dジオメトリとその部屋のジオメトリ（バーチャル環境内の寸法と絶対位置）の両方を把握しているため、正しいレンダリングに必要な全ての3D幾何学的変換を適切に実行していることが挙げられる。

VirtrualCubeシステムにおける座標変換

　さらに、レンダリング品質を向上させながらリアルタイム性を実現するために、研究チームは新しいビュー合成のためのV-Cube Viewアルゴリズムを開発した。実証実験の結果、 2拠点間のエンドツーエンドの遅延は約300msとなり、3人での円卓会議では23fps、2人での対面会議では30fpsを達成することができた。

Source and Image Credits: Y. Zhang et al., “VirtualCube: An Immersive 3D Video Communication System,” in IEEE Transactions on Visualization and Computer Graphics, doi: 10.1109/TVCG.2022.3150512.

「同席しているみたい」──ビデオ会議の相手を3Dモデル化　Googleの「Project starline」　その仕組みは？
米Google Researchの研究チームは、対面式テレプレゼンス・システム「Project starline」の技術的仕組みを詳細に書き記した論文を発表した。Project starlineは、互いの上半身を取得し、3Dモデルとして離れた相手側のディスプレイにリアルタイムに表示し続けられる。
複数のタブレットアームスタンドでデバイスを連携　角度を変えるだけで画面を切り替え
米Microsoft Researchなどの研究チームは、タブレットやラップトップを支えるアームスタンドをベースとした、マルチデバイスの連携を実現するためのワークスペース・プラットフォームを開発した。
ビデオ会議のプロフィール写真を動かす技術　カメラオフでも誰を見ているか判別可能
米ニューヨーク大学と米メリーランド大学、米Googleの研究チームは、カメラをオフにしたビデオ会議で表示するプロフィール写真をアニメーション化する技術を開発。誰が誰を見ているかの視線移動をプロフィール写真でリアルタイムに反映する。
超音波で顔や手を“浮かべて”ビデオ会議　遠隔地からジェスチャーを反映
ビーズを浮かせる仕組みを簡単に構築できるシステムを活用。
相手は本物のCEO？　ビデオ会議やコラボツール悪用の成り済ましにFBIが注意喚起
コロナ禍で普及したオンライン会議ツールやコラボレーションツール悪用した、成り済ましの被害が増えている。従業員の電子メールアカウントを乗っ取り、オンライン会議に参加。CEOなどに成り済まして、従業員へ送金を促すという。