Innovative Tech

VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発　風源なしで温冷風を再現

公開 2022年01月05日 08時00分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東京大学 Human & Environment Informatics Labの研究チームが開発した「VWind: Virtual Wind Sensation to the Ear by Cross-Modal Effects of Audio-Visual, Thermal, and Vibrotactile Stimuli」は、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスだ。ユーザーの耳には、VRシーンに応じた風の音、振動、温冷が同時に与えられ、あたかも耳に風が当たっているかのような錯覚が提示される。

バーチャルキャラクターから耳に息をかけられるシーンを体験している様子

　風の感覚を表現するためにはファンなどの物理的な風源が、温冷を表現するためには熱源が必要だが、これらを準備すると大掛かりな装置になる。そこでこの研究では、クロスモーダル効果（複数の感覚器官に同時刺激すると新たな知覚を生成すること）を使って風の錯覚を提示する手法を提案する。

　具体的には、視覚的なバーチャルシーンとバイノーラルサウンドに加え、振動触覚と熱刺激を耳に与えるヘッドフォン型ウェアラブルデバイスを開発し、提供する。視覚刺激には、Oculus Quest 2 HMDを使用し、Unityで作成したバーチャルシーンを提示する。

　聴覚刺激には、ノイズキャンセリングヘッドフォン（SONY WH-1000XM3）を使い、風の当たる位置情報が含まれるバイノーラルサウンドを提示する。

　熱刺激にはペルチェ素子をヘッドフォンに内蔵し、風による皮膚の温度変化を提示。ペルチェ素子には、温度計測と放熱のためにサーミスターと小型ヒートシンクを取り付けた。振動触覚刺激には、振動モジュールをヘッドフォンに内蔵し、綿を通して耳に提示。ペルチェ素子と振動モジュールをヘッドフォンに固定するため、3Dプリンタで駆体を作成した。

部品を組み込んだヘッドフォンの内側

　バーチャルシーンや両耳への音、温度変化、振動の提示を時間的に同期して、クロスモーダル効果を作り出す。1つ目のデモでは、耳元でバーチャルキャラクターから息を吹きかけられるシーンが紹介される。バーチャルキャラクターから息を吹きかけられる映像と同時に、バイノーラルマイクロフォンを使って事前に収録した耳元への吹き付け音を両耳に提示する。

　加えて、熱刺激と振動触覚刺激も同時に提示する。熱刺激では、吹き始めから吹き終わりまで、ユーザーの皮膚温度に応じてペルチェ素子の温度を+1℃/sで上昇させる。これらにより、ユーザーは、実際に風を当てられていないにもかかわらず、耳に温かい風が当たる感覚を得られる。

　2つ目のデモは、風が凍るような雪山での体験。いてつく風が吹く中、風切り音や木々の揺れなど、雪山のバーチャルシーンを提示する。ペルチェ素子の温度を-2℃/sで低下さた。

いてつく風の雪山体験の様子

Source and Image Credits: Juro Hosoi, Yuki Ban, Kenichi Ito, and Shin’ichi Warisawa. 2021. VWind: Virtual Wind Sensation to the Ear by Cross-Modal Effects of Audio-Visual, Thermal, and Vibrotactile Stimuli. In SIGGRAPH Asia 2021 Emerging Technologies (SA ’21 Emerging Technologies). Association for Computing Machinery, New York, NY, USA, Article 18, 1-2. DOI:https://doi.org/10.1145/3476122.3484848

印刷する