ITmedia NEWS > 科学・テクノロジー >

「舌打ち」で障害物の位置を特定 音の跳ね返りをVR上で可視化、エコロケーションを体験Innovative Tech

» 2022年09月26日 08時00分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 岐阜大学の研究チームが開発した「MEcholocation」は、舌打ちの反響音で周囲の障害物を把握する能力を体験できるVR(バーチャルリアリティー)システムだ。舌打ちした音が複数のボールとしてバーチャル内で見え、そのボールの跳ね返りを手掛かりに周囲の机や壁を把握する。実際の部屋を舞台に、舌打ちの反響音を確認しながら暗闇内の障害物を回避して部屋の脱出を目指す。

ユーザーの舌打ち音をボールに変換し、障害物に当たって跳ね返った様子を見て周囲の環境を把握する

 全盲のダニエル・キッシュさんは、目の代わりに舌打ちの音の反響によって世界を見ているという。これはコウモリやイルカが超音波の反響を用いて自身の位置を把握するエコロケーション(反響定位)に似ている。

 舌打ちによる短い音を使い、物体に跳ね返った音から周囲の状況を把握する。彼は目の前の車の形状を説明し、建物の建築スタイルを当て、自転車に乗ることにも成功しその能力を実証した。この能力は、生まれて1年余りで全盲になり幼少期から訓練を続けてきたものであり、一般の人が今すぐ習得できる代物ではない。

 そこで研究チームは、舌打ちした音を目で見えるようにしてエコロケーションを容易に体験できるVRシステムを提案する。これは舌打ちした音をボールに見立てバーチャル内で可視化し、そのボールの移動で音の動きや跳ね返りを表現するアイデアだ。ユーザーはVR HMD(ヘッドマウントディスプレイ)を装着し、自身の舌打ち音の跳ね返りを目視して周囲の障害物を認識することで、エコロケーションを体験する。

舌打ちによって黄色いボールが放たれる

 まず、LiDAR搭載スマートフォンで3Dスキャンした部屋(実環境)をバーチャル内で映し出す。HMD内蔵のマイクで舌打ち音が検出され、音圧によってボールの大きさを変えてユーザーの口から発射される。

 その際、音が遠くなると音圧レベルも下がるため、この音の減衰もボールのサイズで表現した。また同じ距離でも正面にいる方が聞こえやすく、横、後ろにいくに従って音が小さくなる現象を再現するため、HMDの正面方向との角度の差が大きくなるごとにボールの大きさを小さくした。

 体験の冒頭では、部屋全体が見えるようにしてボールがどのように壁や机などに跳ね返るかを確認できるようにしている。中盤では、部屋を真っ暗にしてボールの跳ね返りしか見えない状態に切り替える。

真っ暗の状態で、舌打ちによるボールを頼りに障害物を回避し進む

 実世界とVRは連動しているため、舌打ちの跳ね返り音と実際の壁や机の距離は連続して同期される。実世界と同期した暗闇の状態でユーザーは、ボールの跳ね返りを手掛かりに障害物を認識しながら歩いて移動する。その際、暗闇からその部屋の出口地点(開いた扉)まで向かう脱出ゲームとしての要素を取り入れている。

舌打ちによるボールの跳ね返りを頼りに机を触っている様子

出典および画像クレジット: 小木曽直輝,阪井啓紀,酒井康希. MEcholocation 第 27 回日本バーチャルリアリティ学会大会論文集(2022年9月)



Copyright © ITmedia, Inc. All Rights Reserved.