「何かに集中していて、聞き取れなかった音声」を後から再生できるイヤフォン 京セラが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　京セラ研究開発本部フューチャーデザインラボの研究チームが人間拡張研究の一環として開発した「無意識な音を意識化させるヒアラブルデバイスの提案」は、何かに集中していて聞き逃した音声を後から教えてくれるヒアラブルデバイスだ。

プロトタイプを使用している様子

　何かに集中していて周囲の音が聞き取れなかった経験はないだろうか。例えば、スマートフォンでゲームをしていて電車のアナウンスが聞こえず乗り過ごしてしまったり、空港でPC作業をしていて搭乗アナウンスを聞き逃したり、講義でメモを取っていて講師が話す重要な内容を聞き逃してしまったりなど。

このように、人間は常に複数の事柄に集中できず、一方の集中により集中外の他方の事柄が埋もれてしまう現象「カクテルパーティ効果」が起きる。

　この課題に対し、今回提案するヒアラブルデバイスで聞き逃し防止の支援を行う。提案するヒアラブルデバイスの目的は、耳に入ってくる音の中から必要な音声のみを自動的に選択し、ユーザーを不快にさせないタイミングでその情報を伝えることだ。

　これらを実行するために、聞き逃してしまうと問題になる必要な音の抽出、ユーザーに迷惑にならない通知のタイミング、その必要な音声を再生し意識させるの3つのプロセスでシステムを構成する。

　音検知部では、音声認識サービスを用いて発話音声をテキストに変換し、変換されたテキストと重要な言葉としてあらかじめ想定した発話検知単語とを部分一致することによりユーザーが必要な音を検知する。音通知部では、発話区間終了時に音検知により、発話検知単語と入力された音声が一致した場合にユーザーに通知音を出力する。

　さらに、通知と同時に発話区間蓄積部から保持されていた発話部分の音声データを音声再生部を介してイヤフォンより再生する。必要な音声は一定時間保存されるため、ユーザーは繰り返し聞き返せる。

音の検知から通知、音の再生の動作イメージ

　プロトタイプは以下で構成される。音の検知および蓄積を行うための音の入力デバイスには、音の方向や空間情報を耳と同等に収集するため、バイノーラルイヤフォンマイクを用いる。音の通知や音声再生のための出力デバイスには、骨伝導ヘッドフォンを使用する。制御するアプリケーションはスマートフォン上に実装する。

　検証実験では、講義の聴講中にメモを取るマルチタスクシーンと、空港内でPCをしながら自身が搭乗する飛行機を待つシーンを想定した。後者の実験では、自身が搭乗する予定の「153便」を発話検知単語に設定した。被験者24人に対し、これら想定シーンの体験デモ（静穏環境での実施）及びアンケート・インタビューを実施した。

　その結果、生活の中で音を聞き返したいか、聞き逃した内容を教えて欲しいか、この機能が心の余裕を作り出すかといった基本的なアンケートに対し、全ての項目で好意的な結果を示した。

　インタビューのコメントでは、複数の事柄に注意を払い続ければならない事案に対してストレスを感じている被験者が多いことが分かったなかで、緊張状態が和らぐ、聞き返すことができる安心感が得られるなど、提案デバイスが一点の事柄に集中できるという、ある種の安心を与える効果が見られた。

　他にも、にぎやかな場所や英語ミーティングでは聞き逃しや間違いが発生するため、集中して聞いている場合においても、この機能がユーザーにとって有効であると分かった。一方で、聞き逃す単語の予測ができないことや、話者が重要だと思うことを聞き直したいなどの課題も見られた。

出典および画像クレジット: 金岡利知, 長尾正太郎, 大角耕介, 山本絵里香, 宝珠山治. “無意識な音を意識化させるヒアラブルデバイスの提案” 情報処理学会 インタラクション2022.