話し声をその場で字幕に　透明ディスプレイで相手も見えるシステムを体験した　とても便利

公開 2021年11月19日 14時02分

更新 2021年11月19日 02時02分

[ITmedia]

印刷する

　筑波大学のデジタルネイチャー研究室が、展示会「DCEXPO 2021」（幕張メッセ、11月17-19日）で、話した声をリアルタイムに音声認識し、透明ディスプレイに字幕として表示する「See-Through Captions」を展示した。実際に体験してみたが、話を理解する速度が格段に上がって便利だった。

　See-Through Captionsは、マイクで取得した音声を、Googleの音声認識エンジンにより文字に起こし、ジャパンディスプレイが開発中の透明ディスプレイで表示するシステム。聴覚に障害がある人や耳が遠い人とのコミュニケーションを円滑にする技術として、日本科学館や茨城県つくば市役所などで実証実験も行った。

　記者は若干耳が遠く、とくに展示会のような騒がしい場所は人の声が聞き取りずらくて困るのだが、そんな中でもSee-Through Captionsを使った会話は快適だった。何より、長文にタイムラグなくついて行けるのがありがたい。

　透明ディスプレイは、少し青みがかっているものの、向こう側を問題なくクリアに見渡せる。一方、文字は透けることなくくっきり鮮明に映っているため読み取りに難しさはない。文字認識精度も高く、文句なしだ。字幕にミスがないかを話者が確認できるよう、話者側にも字幕を表示。間違いがあれば自分で言い直すこともできる。

　透明ディスプレイである意味は、相手の顔や身振りを見ながらコミュニケーションできるところにある。聴覚に障害がある人の中には、口の動きや表情、身振りで話の内容をくみ取っている人もいる。文字情報だけでも情報伝達は可能だが、身振りなどを見ることで相手の感情や意図を理解することもあるため、相手が見える透明ディスプレイに価値が生まれる。

　ただ、実際はそうも行かない部分もある。使ってみると、結局内容を把握するにはディスプレイの文字を見る必要があるため、相手の顔は視界の端に少し見える程度になってしまう。ディスプレイと顔が離れていれば、同時にピントを合わせられないため、どうしてもどちらか一方を見ることになる。表情や身振りはぼんやり見えているだけでもありがたいが、この点については研究メンバーも課題に感じているという。

　今後は、実証実験によりSee-Through Captionsの効果を検証しながら、一般の人々でも使えるよう提供範囲を拡大するという。

印刷する