のどの動きをMRIで解析し、口パクをテキストに変換 言語障がい者などのコンピュータ利用の一助に:Innovative Tech
米カリフォルニア・マーセッド大学の研究チームは、口パク(無声発話)によって動くのどをリアルタイム磁気共鳴画像法(rtMRI)で取得し、その動きから音響情報を理解してテキストに変換する深層学習フレームワークを開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米カリフォルニア・マーセッド大学の研究チームが開発した「Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI」は、口パク(無声発話)によって動く声道をリアルタイム磁気共鳴画像法(rtMRI)で取得し、その動きから音響情報を理解してテキストに変換する深層学習フレームワークだ。
声道とは、声帯が作った音を体外に出すまでに通る空洞領域を指す。今回の研究は、この声道をrtMRIを使って観察し、取得したその動きから連続音声を認識できるかを検証。連続音声認識のために、特定の声道構成に対応する音響情報を自動的に推定できる深層学習によるエンド・ツー・エンドの認識モデル(調音-音響マッピング)を構築した。
感情が音声生成時の調音運動に影響を与えるかどうか、またどのように影響を与えるかを理解するため、声道の各サブ領域(咽頭部や口蓋部、背面部、硬口蓋部、口唇狭窄部)における調音形状の変化を異なる感情と性別に応じて解析を行った。
この研究の認識モデルは、2つのサブモジュールで構成する。rtMRIで撮影したビデオフレームのシーケンスを受け取り、フレームごとに特徴ベクトルを出力する特徴抽出フロントエンドモジュールと、フレームごとの特徴ベクトルのシーケンスを入力し一文字ずつの文を予測し出力するシーケンスモデリングモジュールだ。
データセットには、話者10人の動画4000本以上を使用。声道形成のMR画像と、それに同期した音声記録、時間的に一致した単語レベルのトランスクリプションが含まれる。
提案モデルの性能を測定するために、自動音声認識(ASR)モデルの性能に関する標準的な評価指標である音素誤り率(PER)、文字誤り率(CER)、単語誤り率(WER)を計算し検証した。
その結果、PERを平均40.6%に抑えながら、声道形成のシーケンスを文章全体に自動的にマッピングできることを実証した。さらに感情(中性や幸せ、怒り、悲しみ)を関連付ける解析をしたところ、中性以外の感情の際には全ての感情において、声道の下部境界のサブ領域が上部境界のサブ領域よりも顕著に変化する傾向があると分かった。
各サブ領域の変化は、性別による変動の影響も受けており、女性の話者はポジティブな感情よりもネガティブな感情の方が咽頭領域と口蓋裂・背裂領域のゆがみが大きくなるなどを示した。
この結果は、この認識モデルが日常的に使われているさまざまなコンピュータとの入力媒体として利用できる可能性や、これによって言語障がい者や音声障がい者、視覚障がい者がコンピュータとやりとりする際にも一助になる可能性を示唆した。
Source and Image Credits: Laxmi Pandey and Ahmed Sabbir Arif, “Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI”, SIGGRAPH '21: ACM SIGGRAPH 2021 Posters, August 2021, Article No.: 27, Pages 1-2, https://doi.org/10.1145/3450618.3469176
関連記事
- 「ベイマックス」のように空気で膨らむ義手 装着者のイメージ通りの動きを実現
中国の上海交通大学と米マサチューセッツ工科大学の研究チームは、ディズニー映画に出る「ベイマックス」のような空気で膨らむソフトな義肢を開発。空気圧で指が動き、軽くて柔らかい、かつ低コストであるという。 - 指を電気で強制的に操るデバイス、米シカゴ大が開発 楽器の演奏指導などに活用
米シカゴ大学の研究チームは、指を電気で刺激し、それぞれ操作できるハプティクスデバイスだ。電気的筋肉刺激と、指の関節に配置される機械的なブレーキが備わった外骨格デバイスで、装着者の指4本(親指を除く)を器用に制御する。 - 自動運転機能を持つ白杖、米スタンフォード大が開発 センサーで障害物を検知し、車輪で誘導
米スタンフォード大学の研究チームは、自動運転機能を持つカスタム白杖を開発。4種類のセンサーや左右に回転する車輪を搭載。周囲の障害物を検知し、車輪を回転させることでユーザーをナビゲーションする。 - 糖尿病患者向けの体内に埋め込むロボット 体外から無線で操作し、自動で薬を注入
イタリアのサンターナ大学院大学などの研究チームは、糖尿病患者向けに、体内に埋め込んだロボットが薬を注入するシステムを開発。無線操作でロボット内の輸液ポンプからインスリンを注入や、充電を行う。 - 空気で動くロボットの手 「スーパーマリオブラザーズ」もプレイ可能 製作日数はわずか1日
米メリーランド大学などの研究チームは、3Dプリンタで造形できるソフトロボットハンドを開発。気体や液体などの流体を動力源にしており、任天堂のゲームである「スーパーマリオブラザーズ」をプレイできるほどの制御力を兼ね備える。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.