VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発 風源なしで温冷風を再現:Innovative Tech
東京大学 Human & Environment Informatics Labの研究チームは、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスを開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
東京大学 Human & Environment Informatics Labの研究チームが開発した「VWind: Virtual Wind Sensation to the Ear by Cross-Modal Effects of Audio-Visual, Thermal, and Vibrotactile Stimuli」は、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスだ。ユーザーの耳には、VRシーンに応じた風の音、振動、温冷が同時に与えられ、あたかも耳に風が当たっているかのような錯覚が提示される。
風の感覚を表現するためにはファンなどの物理的な風源が、温冷を表現するためには熱源が必要だが、これらを準備すると大掛かりな装置になる。そこでこの研究では、クロスモーダル効果(複数の感覚器官に同時刺激すると新たな知覚を生成すること)を使って風の錯覚を提示する手法を提案する。
具体的には、視覚的なバーチャルシーンとバイノーラルサウンドに加え、振動触覚と熱刺激を耳に与えるヘッドフォン型ウェアラブルデバイスを開発し、提供する。視覚刺激には、Oculus Quest 2 HMDを使用し、Unityで作成したバーチャルシーンを提示する。
聴覚刺激には、ノイズキャンセリングヘッドフォン(SONY WH-1000XM3)を使い、風の当たる位置情報が含まれるバイノーラルサウンドを提示する。
熱刺激にはペルチェ素子をヘッドフォンに内蔵し、風による皮膚の温度変化を提示。ペルチェ素子には、温度計測と放熱のためにサーミスターと小型ヒートシンクを取り付けた。振動触覚刺激には、振動モジュールをヘッドフォンに内蔵し、綿を通して耳に提示。ペルチェ素子と振動モジュールをヘッドフォンに固定するため、3Dプリンタで駆体を作成した。
バーチャルシーンや両耳への音、温度変化、振動の提示を時間的に同期して、クロスモーダル効果を作り出す。1つ目のデモでは、耳元でバーチャルキャラクターから息を吹きかけられるシーンが紹介される。バーチャルキャラクターから息を吹きかけられる映像と同時に、バイノーラルマイクロフォンを使って事前に収録した耳元への吹き付け音を両耳に提示する。
加えて、熱刺激と振動触覚刺激も同時に提示する。熱刺激では、吹き始めから吹き終わりまで、ユーザーの皮膚温度に応じてペルチェ素子の温度を+1℃/sで上昇させる。これらにより、ユーザーは、実際に風を当てられていないにもかかわらず、耳に温かい風が当たる感覚を得られる。
2つ目のデモは、風が凍るような雪山での体験。いてつく風が吹く中、風切り音や木々の揺れなど、雪山のバーチャルシーンを提示する。ペルチェ素子の温度を-2℃/sで低下さた。
Source and Image Credits: Juro Hosoi, Yuki Ban, Kenichi Ito, and Shin’ichi Warisawa. 2021. VWind: Virtual Wind Sensation to the Ear by Cross-Modal Effects of Audio-Visual, Thermal, and Vibrotactile Stimuli. In SIGGRAPH Asia 2021 Emerging Technologies (SA ’21 Emerging Technologies). Association for Computing Machinery, New York, NY, USA, Article 18, 1-2. DOI:https://doi.org/10.1145/3476122.3484848
関連記事
- 「崖から落ちたけど、壁にナイフを刺して何とか助かったぜ…」を体験できるVR、東京電機大が開発
東京電機大学松浦研究室の研究チームは、人が崖から滑落する際に、助かろうとナイフを斜面に突き立てて停止する動作を再現したVR触覚システムだ。落下から崖をナイフで刺し、しばらく引きずられて停止するまでの疑似体験を提供する。 - VRのキャラクターに「腕グイ」されるデバイス 政大や京大などが開発
国立政治大学や京都大学、米ポモナ・カレッジ、米カリフォルニア大学デービス校の研究チームは、VR中でユーザーの腕を引っ張る触覚ウェアラブルデバイスを開発した。 - 作業中に「ツンデレ」されるとやる気は高まるか? メイドアバターで、奈良先端大が検証
奈良先端科学技術大学院大学の研究チームは、冷たい対応と優しい対応を組み合わせた動作「ツンデレ」が作業意欲にどのような影響を与えるかを検証した。 - 無表情だと誤解されがちな人向け「人工眉毛付きメガネ型デバイス」 7種類の感情を眉毛で支援
公立はこだて未来大学などの研究チームは、人工眉毛の形状が多様に変化することで表情を拡張する眼鏡型ウェアラブルデバイスを開発した。 - VTuberの動きをオーバーリアクションに自動変換 中の人の表情などをアニメーションに反映
米パデュー大学の研究チームは、バーチャルYouTuber(VTuber)の配信において、ストリーマーの実際の動きよりも表現豊かな動きとして拡張し出力するシステムを開発。ストリーマーのトラッキングから得た音声や表情などに基づいてアニメーション生成する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.