Innovative Tech
話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
筑波大学 デジタルネイチャー研究室のチームが開発した「See-Through Captions」は、話者の音声を自動でテキスト変換し、相手との間に設置した透明ディスプレイに字幕をリアルタイム表示する聴覚障害者向けシステムだ。1対1の対面コミュニケーションにおいて、相手の表情やボディーランゲージを確認しながら自然体でやりとりできる。
計算機によって多様性を実現する社会に向けた超AI基盤に基づく空間視聴触覚技術の社会実装を目指す「xDiversity」プロジェクトの一環だ。
聴覚障害者との対面コミュニケーションにおいて、最も一般的な手段は手話だが、近年はスマートフォンやARシステムを活用して相手に話し言葉を字幕として提示できる自動音声認識のリアルタイムキャプションが利用されるようになってきた。
しかし、スマートフォンを見たり、見せたりしていると、相手のボディーランゲージや表情、アイコンタクトなどの非言語コミュニケーションを見落としがちだ。また、ARシステムを用いた手法だと、話者が自動音声認識の誤認識を確認できないことが円滑なコミュニケーションの妨げとなる。
これらの問題点を解決するために、今回は透明ディスプレイを利用し、会話中に相手を見ながら自動音声認識結果を確認できるリアルタイムキャプションシステムを開発した。1対1の対面時に限定されるが、自動音声認識の誤認識や相手の非言語コミュニケーションの見落としを防ぎながら会話できる。
システムの主な機能は、自動音声認識と字幕表示の2つだ。音声入力装置として指向性マイクを使用し、透明ディスプレイ前の話者の音声を入力に、その音声を自動音声認識を介してテキストに変換、音声認識結果のテキストを透明ディスプレイにリアルタイムで表示する。
表示される文字は、サイズ、色、透明度、フォントなどユーザーが自由に変更できる。今後は、文字表示速度、行数、消失速度などのパラメーターも設計したいという。
特筆すべきは、相手に大きな字幕が表示される一方で、話者にも同じ字幕がこちらが読めるように反転し小さな文字で表示されていること。これにより話者もリアルタイムで自動音声認識による変換を確認でき、誤認識にもすぐに気付ける。
聴覚障害者と対話者は、双方が相手の非言語コミュニケーションを読み取り、字幕で音声内容や誤認識を理解しながら円滑な意思疎通が行える。
スーパーマーケットから役所まであらゆる場所で飛沫防止用透明パネルが設置されているコロナ禍においては、今回のシステムとの相性も良く、導入も考えられるだろう。
一方、聴覚障害者の手話や文字による発言を聴者がどのようにして受け取るか、文字よりも手話を好む聴覚障害者への情報提示方法などは、検討の余地がある。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
ドンキのAI社員「近藤あい」が正式デビュー 販促POPや動画で活躍へ 運営元「すでに裏に20人ぐらいいる」
-
2
湘南美容クリニックのSBC、162万人分の個人情報流出 パスワードは「暗号化せず保存していた」
-
3
PHP「緊急」脆弱性、サービス一時停止の動き再び ウマ娘やグラブル、イープラスなど緊急メンテ
-
4
六花亭、カード番号全桁+セキュリティコード約8000件流出か 決済画面のプログラム改ざん
-
5
「楽天証券」漏えい、あなたは対象? ログインして「重要なお知らせ」確認を
-
6
美少女ゲーム「NIKKE」経由でマルウェア感染 北海道2自治体、委託先が認める
-
7
デジ庁、政府機関向けファイル共有サービスで漏えいか 7月末から第三者がアクセス
-
8
AIは人並みに動画編集できる? “バズる切り抜き”からガジェット開封動画まで2つのツールを試す
-
9
ハンコヤドットコム、カード番号やセキュリティコード8220件漏えいか 決済画面改ざんされる
-
10
「ペンギンを返して」→「3匹全部採用して」 批判殺到のSuica新キャラ、ファンアートが空気を変えた? SNSの声
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR