ビデオ会議のプロフィール写真を動かす技術 カメラオフでも誰を見ているか判別可能：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米ニューヨーク大学と米メリーランド大学、米Googleの研究チームが開発した「GazeChat: Enhancing Virtual Conferences with Gaze Awareness and Interactive 3D Photos」は、カメラをオフにしたビデオ会議で表示するプロフィール写真をアニメーション化する技術だ。PCのWebカメラを使って追跡したユーザーの視線に応じて、誰が誰を見ているかの視線移動をプロフィール写真でリアルタイムに反映する。

左上の女性の視線が横を向いた時の様子

　ネットワークの帯域幅が狭い場合やプライバシーを気にするなどの理由から、ユーザーはビデオ会議でカメラをオフにすることがある。その場合、音声会議と同様に、お互いのプロフィール写真しか見れず臨場感に欠ける。

　研究チームは、人はビデオ会議中に聞いている人のプロフィール写真を見る傾向があることに着目。プロフィール写真の視線をユーザーの注視に応じてアニメーション化させる手法を提案し、誰が誰を見ているかを可視化する方法で臨場感を高めることを目指す。

ビデオ会議のカメラオフ時に表示するプロフィール写真の視線を動かして臨場感を高める

　今回の視線追跡は、ユーザーの実際の目の位置に合わせてプロフィール写真の目が動くといったリアリティーを追求したアプローチではなく、誰を見ているのかの情報のみを明らかにするために目をレンダリングする。

　例えば、横の人を見ている場合は、自分のプロフィール写真内の視線が横の人のプロフィール写真を見ているような眼球の動きをする。眼球だけ移動すると怖いため、眼球が動くとともに頭部も少し動作するようにしている。特別なハードウェアを必要とせず、低コスト低帯域で実装できるのが利点だ。

　プロフィール写真を登録すると、対応する深度マップから3Dメッシュやアイマスク、いろいろな角度から見たように表現するために合成した20枚の視線画像を生成。視線方向からユーザーが誰を見ているかを特定し、視線を考慮した3D写真をレンダリングする。

システムの概要

　被験者16人を対象にしたユーザー実験を行った結果、通常のビデオ会議や音声会議の条件よりも、この手法の方がアイコンタクトの感覚が優れていたことが分かった。ビデオ会議で生じる低帯域による不安定問題も払拭しながら、プライバシー問題も解決しつつ、それでいて適度な臨場感を提供できる。動画では視線と頭部が動作する様子を確認できる

Source and Image Credits: Zhenyi He, Keru Wang, Brandon Yushan Feng, Ruofei Du, and Ken Perlin. 2021. GazeChat: Enhancing Virtual Conferences with Gaze-aware 3D Photos. The 34th Annual ACM Symposium on User Interface Software and Technology. Association for Computing Machinery, New York, NY, USA, 769–782. DOI:https://doi.org/10.1145/3472749.3474785