話し声をその場で字幕に 透明ディスプレイで相手も見えるシステムを体験した とても便利
筑波大学のデジタルネイチャー研究室が「DCEXPO 2021」に、話した声をリアルタイムに音声認識し、透明ディスプレイに字幕として表示するシステムを展示した。実際に体験してみたが、話を理解する速度が格段に上がって便利だった。
筑波大学のデジタルネイチャー研究室が、展示会「DCEXPO 2021」(幕張メッセ、11月17-19日)で、話した声をリアルタイムに音声認識し、透明ディスプレイに字幕として表示する「See-Through Captions」を展示した。実際に体験してみたが、話を理解する速度が格段に上がって便利だった。
See-Through Captionsは、マイクで取得した音声を、Googleの音声認識エンジンにより文字に起こし、ジャパンディスプレイが開発中の透明ディスプレイで表示するシステム。聴覚に障害がある人や耳が遠い人とのコミュニケーションを円滑にする技術として、日本科学館や茨城県つくば市役所などで実証実験も行った。
記者は若干耳が遠く、とくに展示会のような騒がしい場所は人の声が聞き取りずらくて困るのだが、そんな中でもSee-Through Captionsを使った会話は快適だった。何より、長文にタイムラグなくついて行けるのがありがたい。
透明ディスプレイは、少し青みがかっているものの、向こう側を問題なくクリアに見渡せる。一方、文字は透けることなくくっきり鮮明に映っているため読み取りに難しさはない。文字認識精度も高く、文句なしだ。字幕にミスがないかを話者が確認できるよう、話者側にも字幕を表示。間違いがあれば自分で言い直すこともできる。
透明ディスプレイである意味は、相手の顔や身振りを見ながらコミュニケーションできるところにある。聴覚に障害がある人の中には、口の動きや表情、身振りで話の内容をくみ取っている人もいる。文字情報だけでも情報伝達は可能だが、身振りなどを見ることで相手の感情や意図を理解することもあるため、相手が見える透明ディスプレイに価値が生まれる。
ただ、実際はそうも行かない部分もある。使ってみると、結局内容を把握するにはディスプレイの文字を見る必要があるため、相手の顔は視界の端に少し見える程度になってしまう。ディスプレイと顔が離れていれば、同時にピントを合わせられないため、どうしてもどちらか一方を見ることになる。表情や身振りはぼんやり見えているだけでもありがたいが、この点については研究メンバーも課題に感じているという。
今後は、実証実験によりSee-Through Captionsの効果を検証しながら、一般の人々でも使えるよう提供範囲を拡大するという。
関連記事
- 話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発
コロナ禍においては自然なコミュニケーション手段になるかもしれない。 - 一枚ガラス並みの透過率、JDIが12.3インチの透明ディスプレイを開発
JDIがガラスのように透明なカラーディスプレイを開発。透過率は87%とガラス一枚(透過率90%)に迫る。透過率を生かしたAR(拡張現実)観光案内などの用途を見込む。 - ソニー、360度から映像を見られる円筒型透過ディスプレイ 米国で参考出展
ソニーが360度全方向から映像が見られる透過ディスプレイを開発し、ロサンゼルスで開催されている国際会議で展示していると発表した。 - 経営再建中のJDI、一部工場をシャープに売却 モバイル事業部の子会社化は取りやめ
ジャパンディスプレイが同社の白山工場を412億円でシャープに売却した。工場内の一部生産装置は別の企業に売却する。これに伴い、同社モバイル事業部の子会社化は取りやめる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.