バーチャル内で“本当の食事”を体験できるか? 奈良先端大と東大が検証:Innovative Tech
奈良先端科学技術大学院大学と東京大学による研究チームは、VR内で実環境の食事を高い臨場感で食べるための支援技術を開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
奈良先端科学技術大学院大学と東京大学による研究チームが開発した「Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metavers」は、VR内で実環境の食事を高い臨場感で食べるための支援技術だ。
このシステムでは、本当のパンやお皿に入ったチャーハンなどの食品映像“のみ”がVRシーンに重なるように映し出される。この状況で食事をした際に、臨場感や味、食べやすさがどう変化するのかを検証した。
HMDを装着するとユーザーは実環境を視覚的に確認できないため、実際の食事が困難になる。VR体験中に実際の食事をするには、例えばビデオシースルー型HMD(ヘッドマウントディスプレイ)で実環境とVRシーンを重ねて映し出す方法が考えられる。だが、VRシーンには実環境の領域が広く表示され、著しく臨場感を低下させる。
今回は、食品領域のみをVRシーンと重ね合わせることで、高い臨場感を保ちながら食事ができる手法を提案する。ここでいう食事領域のみとは、例えばパンであればパンの形状のみがVRに表示され、その他の実環境はVRに表示されないことを意味する。
映し出されるパンは、持って移動させても追跡し表示される。パンがかじられて一部が食べられると食べかけのパンのみが表示される。
実環境の食品はHTC Viveのフロントカメラを利用して取得する。システムでは、その取得した画像からゆがんだ領域を除去して深層学習で食品分割画像を生成し、表示する位置を計算しVRシーンに重ね合わせる。
今回の手法は、OpenVR APIのオーバーレイ機能を利用しており、OpenVR APIを利用したVRChatなどのVRアプリケーションと同時に利用することができる。
実験では、この手法により臨場感や味、食べやすさがどう変わるかを調査した。参加者12人には、VRを3分間探索してもらった後、2種類の食事(パンとチャーハン)を食べてからアンケートに回答してもらった。パンは手づかみで食べ、チャーハンはお皿の上でスプーンを使って食べてもらった。
比較するために、食品映像をVRシーンに表示しない方法、実環境の領域が広く表示されるビデオシースルー型HMDを用いた方法、食品映像のみをVRシーンに重ねて表示する本提案手法の3パターンを用意した。
その結果、実環境の領域が広く表示されるビデオシースルー型HMDを用いた方法や食品映像をVRシーンに表示しない場合と比較して、提案手法の方がユーザーに高い臨場感を与えると分かった。
また、実環境の領域が広く表示されるビデオシースルー型HMDを用いた方法と比較して、提案手法は食べやすさが同程度であり、食べやすいことが分かった。味に有意な差はなかった。
参加者からは、実環境の食品映像の解像度が低いため、おいしそうに見えないなどのコメントが得られた。
HMDの視野角の制限から口元の画像を提供できなかったり、CGのスプーンや箸がなかったりなど臨場感がより高まる課題も見られた。今回は2次元画像を表示しているにすぎないため、おいしそうに見えるリアルな3D食品として表示するとより臨場感が高まりおいしくなる応用も考えられるという。また、他のアバターと一緒にVR内で食事を行う体験も検討したいという。
Source and Image Credits: Kizashi Nakano, Daichi Horita, Naoya Isoyama, Hideaki Uchiyama, and Kiyoshi Kiyokawa “Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metaverse” ACM CHI Conference on Human Factors in Computing Systems (CHI) 2022.
関連記事
- VRで口の中を触られている感覚を再現 VRヘッドセットから超音波を放射 「虫が唇を這う」などが再現可能
米Carnegie Mellon UniversityのFuture Interfaces Groupは、VR HMD(ヘッドマウントディスプレイ)に空中超音波フェーズドアレイを統合し、VR体験に応じて超音波で唇や口腔内に触覚を与えるシステムを開発した。 - VRヘッドセットとキーボードが合体、両手でこめかみをタイピング 芝浦工大とNTTドコモが開発
芝浦工業大学真鍋研究室とNTTドコモの研究チームは、VRヘッドマウントディスプレイのストラップ両側に左右分離型キーボードをそれぞれ設置した効果的なタイピングシステムを開発した。 - 「頭をなでる」「ビンタ」「ハグの拒否」などアバター同士の接触を滑らかにするVR技術、東工大が開発
東京工業大学長谷川研究室の研究チームは、バーチャル空間でアバター同士もしくは3Dオブジェクトとの接触の際に、両者が自然な動きで表現できる技術を開発した。頭をなでる、ハグするなどの動きを滑らかなリアクションで表現する。 - VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発 風源なしで温冷風を再現
東京大学 Human & Environment Informatics Labの研究チームは、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスを開発した。 - 「バナナの皮ですべった」ができるローラースケート型VRデバイス さまざまな地面の触覚を再現
台湾大学と国立政治大学、米メリーランド大学による研究チームは、VRの臨場感を高めるために、足に多段階の不均一な摩擦フィードバックを与えるローラースケート型ウェアラブルデバイスを開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.