Innovative Tech

自分の顔をずっと“笑顔にする”ヘルメット型プロジェクター　会話中も常にニコニコ　神戸大が開発

公開 2024年01月23日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　神戸大学の塚本・寺田研究室に所属する研究者らが発表した論文「EmoCast: 顔への表情変化情報投影による話し相手の印象向上システム」は、対面での会話中に表情を豊かに見せることで話し相手の印象を良くするウェアラブル表情拡張システムを提案した研究報告である。このシステムは、動く顔に追従しながらプロジェクターで笑顔などの3Dモデルを投影して表情を拡張する。

（上）頭部装着型デバイス、（下）表情に応じてプロジェクターで笑顔の3Dモデルを投影している様子

提案システムにより笑顔を投影している様子

　プロトタイプは、ヘルメット型デバイスとスマートフォンで構成。ヘルメットには小型プロジェクターとカメラを取り付けている。

　システムは、動く顔のパーツにリアルタイムで追従し、運動パターンを投影することで、会話時の表情を豊かに見せることを目的としている。具体的には、カメラで撮影した顔の映像をスマートフォンに送信し、顔の3Dモデル（グレースケール）を作成。この3Dモデルに事前に生成した運動パターンをマッピングし、プロジェクターで本人の顔に投影する。

システムの概要図

表情の運動パターンを作成する概要図

　この方法により、無表情の顔に特定の表情（例えば笑顔）の生成や、表情が少ない場合に表情を増強（例えば笑顔の強化）などができる。

提案デバイスを使用して、笑顔の生成と笑顔の増強をしている様子

　評価実験では、提案システムを用いて顔に運動情報を付与し、動きのある顔がより動いて見えたか、会話時の印象が良くなったかを被験者に評価してもらった。その結果、システムによる投影が顔の動きを強調し、印象を良くする効果があることを示した。動画はこちら。

実験時の様子

　研究の発表後、研究チームはさらにシステムを改良。ハードウェアの外観はシンプルになり、投影内容も向上してより自然な表情生成を実現している。

　今後は、より自然な映像を投影できるように映像の調整を行った上で、日常使いできるようにシステムを小型化、軽量化する予定だ。

改良後のハードウェア

（上段）笑顔の映像、（下段）顔に笑顔の映像を投影している様子

Source and Image Credits: 浅野恭志, 大西鮎美, 寺田努, 塚本昌彦. EmoCast: 顔への表情変化情報投影による話し相手の印象向上システム. 第31回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2023）予稿集.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る