ビデオ会議のプロフィール写真を動かす技術 カメラオフでも誰を見ているか判別可能:Innovative Tech
米ニューヨーク大学と米メリーランド大学、米Googleの研究チームは、カメラをオフにしたビデオ会議で表示するプロフィール写真をアニメーション化する技術を開発。誰が誰を見ているかの視線移動をプロフィール写真でリアルタイムに反映する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米ニューヨーク大学と米メリーランド大学、米Googleの研究チームが開発した「GazeChat: Enhancing Virtual Conferences with Gaze Awareness and Interactive 3D Photos」は、カメラをオフにしたビデオ会議で表示するプロフィール写真をアニメーション化する技術だ。PCのWebカメラを使って追跡したユーザーの視線に応じて、誰が誰を見ているかの視線移動をプロフィール写真でリアルタイムに反映する。
ネットワークの帯域幅が狭い場合やプライバシーを気にするなどの理由から、ユーザーはビデオ会議でカメラをオフにすることがある。その場合、音声会議と同様に、お互いのプロフィール写真しか見れず臨場感に欠ける。
研究チームは、人はビデオ会議中に聞いている人のプロフィール写真を見る傾向があることに着目。プロフィール写真の視線をユーザーの注視に応じてアニメーション化させる手法を提案し、誰が誰を見ているかを可視化する方法で臨場感を高めることを目指す。
今回の視線追跡は、ユーザーの実際の目の位置に合わせてプロフィール写真の目が動くといったリアリティーを追求したアプローチではなく、誰を見ているのかの情報のみを明らかにするために目をレンダリングする。
例えば、横の人を見ている場合は、自分のプロフィール写真内の視線が横の人のプロフィール写真を見ているような眼球の動きをする。眼球だけ移動すると怖いため、眼球が動くとともに頭部も少し動作するようにしている。特別なハードウェアを必要とせず、低コスト低帯域で実装できるのが利点だ。
プロフィール写真を登録すると、対応する深度マップから3Dメッシュやアイマスク、いろいろな角度から見たように表現するために合成した20枚の視線画像を生成。視線方向からユーザーが誰を見ているかを特定し、視線を考慮した3D写真をレンダリングする。
被験者16人を対象にしたユーザー実験を行った結果、通常のビデオ会議や音声会議の条件よりも、この手法の方がアイコンタクトの感覚が優れていたことが分かった。ビデオ会議で生じる低帯域による不安定問題も払拭しながら、プライバシー問題も解決しつつ、それでいて適度な臨場感を提供できる。動画では視線と頭部が動作する様子を確認できる
Source and Image Credits: Zhenyi He, Keru Wang, Brandon Yushan Feng, Ruofei Du, and Ken Perlin. 2021. GazeChat: Enhancing Virtual Conferences with Gaze-aware 3D Photos. The 34th Annual ACM Symposium on User Interface Software and Technology. Association for Computing Machinery, New York, NY, USA, 769–782. DOI:https://doi.org/10.1145/3472749.3474785
関連記事
- 電波を注入し、人間を充電器化 タイピングや車の運転中にスマートウォッチなどを充電
米マサチューセッツ大学の研究チームは、キーボードに触ってタイピングした際に自動でスマートウォッチのバッテリーを充電するシステムを開発。人間の体を経由して電力を供給する。 - 床の汚れをARで可視化 ゲーム感覚で掃除ができる“イカした”システム
青山学院大学ロペズ研究室の研究チームは、掃除箇所の汚れ度合を可視化し、掃除を促すシステムを開発。汚れている領域を掃除すると着色が除去されるため、ゲーム感覚で掃除が行える。 - 指を電気で強制的に操るデバイス、米シカゴ大が開発 楽器の演奏指導などに活用
米シカゴ大学の研究チームは、指を電気で刺激し、それぞれ操作できるハプティクスデバイスだ。電気的筋肉刺激と、指の関節に配置される機械的なブレーキが備わった外骨格デバイスで、装着者の指4本(親指を除く)を器用に制御する。 - 犬から人へ電話をかけられる「DogPhone」 愛犬は飼い主にどのくらい着信を入れるか検証
スコットランドのグラスゴー大学と、フィンランドのアールト大学の研究チームは、犬から人のスマートフォンへビデオ通話をかけられるボール型IoTデバイス「DogPhone」を開発。くわえて動かすことで、飼い主に電話をかけられる。 - 指に貼れるバンドエイド型発電機 タイピングや睡眠時に電気を生成
米カリフォルニア大学サンディエゴ校の研究チームは、汗をかいたり押したりしたときに少量の電気を生み出す、薄くて柔軟なバンドエイド型デバイスを開発。指の腹に装着し、軽く押すだけで発電するため、タイピングなどの動作で発電できる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.