「舌打ち」で障害物の位置を特定 音の跳ね返りをVR上で可視化、エコロケーションを体験:Innovative Tech
岐阜大学の研究チームは、舌打ちの反響音で周囲の障害物を把握する能力を体験できるVRシステムを開発した。舌打ちした音が複数のボールとしてバーチャル内で見え、そのボールの跳ね返りを手掛かりに周囲の机や壁を把握する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
岐阜大学の研究チームが開発した「MEcholocation」は、舌打ちの反響音で周囲の障害物を把握する能力を体験できるVR(バーチャルリアリティー)システムだ。舌打ちした音が複数のボールとしてバーチャル内で見え、そのボールの跳ね返りを手掛かりに周囲の机や壁を把握する。実際の部屋を舞台に、舌打ちの反響音を確認しながら暗闇内の障害物を回避して部屋の脱出を目指す。
全盲のダニエル・キッシュさんは、目の代わりに舌打ちの音の反響によって世界を見ているという。これはコウモリやイルカが超音波の反響を用いて自身の位置を把握するエコロケーション(反響定位)に似ている。
舌打ちによる短い音を使い、物体に跳ね返った音から周囲の状況を把握する。彼は目の前の車の形状を説明し、建物の建築スタイルを当て、自転車に乗ることにも成功しその能力を実証した。この能力は、生まれて1年余りで全盲になり幼少期から訓練を続けてきたものであり、一般の人が今すぐ習得できる代物ではない。
そこで研究チームは、舌打ちした音を目で見えるようにしてエコロケーションを容易に体験できるVRシステムを提案する。これは舌打ちした音をボールに見立てバーチャル内で可視化し、そのボールの移動で音の動きや跳ね返りを表現するアイデアだ。ユーザーはVR HMD(ヘッドマウントディスプレイ)を装着し、自身の舌打ち音の跳ね返りを目視して周囲の障害物を認識することで、エコロケーションを体験する。
まず、LiDAR搭載スマートフォンで3Dスキャンした部屋(実環境)をバーチャル内で映し出す。HMD内蔵のマイクで舌打ち音が検出され、音圧によってボールの大きさを変えてユーザーの口から発射される。
その際、音が遠くなると音圧レベルも下がるため、この音の減衰もボールのサイズで表現した。また同じ距離でも正面にいる方が聞こえやすく、横、後ろにいくに従って音が小さくなる現象を再現するため、HMDの正面方向との角度の差が大きくなるごとにボールの大きさを小さくした。
体験の冒頭では、部屋全体が見えるようにしてボールがどのように壁や机などに跳ね返るかを確認できるようにしている。中盤では、部屋を真っ暗にしてボールの跳ね返りしか見えない状態に切り替える。
実世界とVRは連動しているため、舌打ちの跳ね返り音と実際の壁や机の距離は連続して同期される。実世界と同期した暗闇の状態でユーザーは、ボールの跳ね返りを手掛かりに障害物を認識しながら歩いて移動する。その際、暗闇からその部屋の出口地点(開いた扉)まで向かう脱出ゲームとしての要素を取り入れている。
出典および画像クレジット: 小木曽直輝,阪井啓紀,酒井康希. MEcholocation 第 27 回日本バーチャルリアリティ学会大会論文集(2022年9月)
関連記事
- 歯ぎしりの音をイヤフォンで拾い個人認証 米国チーム「ToothSonic」開発
米フロリダ州立大学と米ラトガース大学の研究チームは、ユーザーが歯のジェスチャーを行う際に発生する歯型による音波効果を利用したイヤフォンベースの認証システムを開発した。 - タッチ決済時の「〇〇Pay」の音をこっそり盗聴し、決済アプリを乗っ取る攻撃 韓国の研究チームが指摘
韓国のChung-Ang UniversityとAjou Universityの研究チームは、スマートフォンをかざすだけで決済が完了するサービスにおいて、決済時の音を盗聴して乗っ取る手法を指摘する論文を発表した。 - “スマホのマイクでこっそり盗聴”を妨害する技術 静かな音で会話内容を改ざん
米コロンビア大学の研究チームは、不正なマイクが取得したユーザーの会話の言葉を正しく聞き取れないようにする攻撃を提案した論文を発表した。 - ビデオ会議中、マイクが“ミュート”でも音が取得されている問題 米国チームが検証
米University of Wisconsin-Madisonと米Loyola University Chicagoの研究チームは、一般的なビデオ会議アプリにおいて、マイクをミュートにしている状態であっても音を取得できる可能性を指摘した論文を発表した。 - メガネの反射からWeb会議中の画面を盗み見る攻撃 閲覧中のサイトを特定する精度は94%以上
米University of Michiganと中国のZhejiang Universityによる研究チームは、Web会議に参加するメガネをかけたユーザーのレンズの反射によって、画面上の機密情報を不注意に伝えてしまうことを明らかにした研究報告を発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.