オンライン講義参加者の視線をヒートマップ表示 東大とソニーが技術開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東京大学とソニーコンピュータサイエンス研究所京都研究室の研究チームが開発した「1対多遠隔コミュニケーションにおける聴衆反応の集合的提示」（PDFへのリンク）は、多人数のオンライン講義受講者の視線を追跡し、その情報をヒートマップとして講師にリアルタイムで伝えるシステムだ。

（左）資料上にヒートマップが表示されている講師側のディスプレイ（右）視線を追跡されながら講義を受ける多数の聞き手

　オンライン講義やウェビナーなど、1対多人数で遠隔コミュニケーションを行う場合、講師側には聴衆の視線や動きなどの非言語情報が伝わらないため反応が読みづらい。そこで聴衆の視線を追跡し、その結果を講師側のディスプレイにヒートマップとして提示することで、聴衆の反応を得ながら講義が行えるようにする。

　今回の手法は講義に参加する多人数の視線を同時に追跡するため、特別なアイトラッカー装置は使用せずに、オンライン会議で使用している通常のWebカメラを用いたトラッキングを採用している。視線方向の取得には、Webブラウザ上で動作する視線検出ライブラリ「WebGazer.js」を用いるため、追加の機材を必要とせず、低コストで導入できる。

　一方で、Webカメラは専用アイトラッカーに比べ精度が落ちるため、精度を補わなければならない。そこで数フレーム分の視線位置を使用して平均値を使用。リアルタイム性は損なわれるものの、オンライン講義としての聴衆の反応は十分得られる。

　講師側への表示方法は、ヒートマップを採用する。赤い部分はより多くの聴衆が、逆に緑や青、透明な部分は見ている聴衆があまりいないことを示す。このようにヒートマップ表示は、話者の気を散らすことなく聴衆の反応を確認でき、全体的に見ている人が多い部分を直感的に把握できる。

　また今回は視線位置に加えて聴衆の顔の向きも取得し、聞き手のうなずきや否定のリアクションといった反応も取得できる。

　プライバシーの観点から、サーバへ送る情報は視線位置と顔の向きのみとしている。

システムの構成図

　この研究では大人数の聴衆の非言語情報として視線と頭の向きだけに注目しているが、今後は表情などの視線以外の非言語情報から、感情などのより複雑な情報も話者へ提示したいという。

　動画はこちら。