バーチャル内で“本当の食事”を体験できるか？ 奈良先端大と東大が検証：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　奈良先端科学技術大学院大学と東京大学による研究チームが開発した「Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metavers」は、VR内で実環境の食事を高い臨場感で食べるための支援技術だ。

　このシステムでは、本当のパンやお皿に入ったチャーハンなどの食品映像“のみ”がVRシーンに重なるように映し出される。この状況で食事をした際に、臨場感や味、食べやすさがどう変化するのかを検証した。

VRを体験しながら食事をするユーザー（上：パン、下：チャーハン）と、実環境の食品映像が重なったユーザーが見えているVRシーン

　HMDを装着するとユーザーは実環境を視覚的に確認できないため、実際の食事が困難になる。VR体験中に実際の食事をするには、例えばビデオシースルー型HMD（ヘッドマウントディスプレイ）で実環境とVRシーンを重ねて映し出す方法が考えられる。だが、VRシーンには実環境の領域が広く表示され、著しく臨場感を低下させる。

　今回は、食品領域のみをVRシーンと重ね合わせることで、高い臨場感を保ちながら食事ができる手法を提案する。ここでいう食事領域のみとは、例えばパンであればパンの形状のみがVRに表示され、その他の実環境はVRに表示されないことを意味する。

　映し出されるパンは、持って移動させても追跡し表示される。パンがかじられて一部が食べられると食べかけのパンのみが表示される。

　実環境の食品はHTC Viveのフロントカメラを利用して取得する。システムでは、その取得した画像からゆがんだ領域を除去して深層学習で食品分割画像を生成し、表示する位置を計算しVRシーンに重ね合わせる。

　今回の手法は、OpenVR APIのオーバーレイ機能を利用しており、OpenVR APIを利用したVRChatなどのVRアプリケーションと同時に利用することができる。

　実験では、この手法により臨場感や味、食べやすさがどう変わるかを調査した。参加者12人には、VRを3分間探索してもらった後、2種類の食事（パンとチャーハン）を食べてからアンケートに回答してもらった。パンは手づかみで食べ、チャーハンはお皿の上でスプーンを使って食べてもらった。

　比較するために、食品映像をVRシーンに表示しない方法、実環境の領域が広く表示されるビデオシースルー型HMDを用いた方法、食品映像のみをVRシーンに重ねて表示する本提案手法の3パターンを用意した。

（左）食品映像をVRシーンに表示しない方法、（中央）実環境の領域が広く表示されるビデオシースルー型HMDを用いた方法、（右）食品映像のみをVRシーンに重ねて表示する提案手法

　その結果、実環境の領域が広く表示されるビデオシースルー型HMDを用いた方法や食品映像をVRシーンに表示しない場合と比較して、提案手法の方がユーザーに高い臨場感を与えると分かった。

　また、実環境の領域が広く表示されるビデオシースルー型HMDを用いた方法と比較して、提案手法は食べやすさが同程度であり、食べやすいことが分かった。味に有意な差はなかった。

　参加者からは、実環境の食品映像の解像度が低いため、おいしそうに見えないなどのコメントが得られた。

　HMDの視野角の制限から口元の画像を提供できなかったり、CGのスプーンや箸がなかったりなど臨場感がより高まる課題も見られた。今回は2次元画像を表示しているにすぎないため、おいしそうに見えるリアルな3D食品として表示するとより臨場感が高まりおいしくなる応用も考えられるという。また、他のアバターと一緒にVR内で食事を行う体験も検討したいという。

Source and Image Credits: Kizashi Nakano, Daichi Horita, Naoya Isoyama, Hideaki Uchiyama, and Kiyoshi Kiyokawa “Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metaverse” ACM CHI Conference on Human Factors in Computing Systems (CHI) 2022.