ニュース
マスク装着時に話したテキストを翻訳、字幕表示 KAIST「MAScreen」開発:Innovative Tech
マスク装着時のコミュニケーションを円滑にするための新たな手法。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
韓国科学技術院(KAIST)の研究チームが開発した「MAScreen」は、マスク着用時の顔の表情と唇の動きを読み取り、マスクの前面に装着したLEDディスプレイに表示するシステムだ。マイクで収録した音声をテキスト化し、他言語に翻訳して字幕表示することもできる。
マスクで隠れた表情と唇の動きを捉え、その動きを分類してマスク前面のLEDディスプレイに表示する。動きを検出するために、マスク内には反射型光センサーアレイを組み込んでいる。
機械学習アルゴリズムで動きを分類し、唇の動き12種類(大きく開口、口をゆがませる、母音など)、顔の表情11種類(笑顔、怒り、悲しみなど)に分ける。分類精度は99%以上を達成。分類された表情はリアルタイムにLEDディスプレイに表示する。
マスク内に搭載したマイクで音声を検出する。検出した音声はテキストに変換され、テキストはLEDディスプレイへ右から左へ流れるテロップのように字幕表示される。
テキストを別の言語へ即座に翻訳し表示することも可能だ。デモ動画では、英語をフランス語や日本語に翻訳し表示している様子を確認できる。
関連記事
- オンライン飲み会で「お酌」、乾杯も再現する「そそぎそそがせ」 阪大が開発
一緒に飲む相手がそこにいなくても大丈夫。 - 顔の表情をアバターに即時反映して表示する画面付きフルフェイスマスク 「デジタルカメン」誕生
装着している人の表情がディスプレイに反映される仕組みは世の中に受け入れれられるか。 - 「自分くすぐり」でストレス緩和? 他人にくすぐられている感覚得られる「くすぐってみ〜な」を奈良先端大が開発
VRとゴム手袋を応用して、自分でやってもくすぐったくなるそうだ。 - “内なる感情”をARで可視化する「Neo-Noumena」
相手の周りに感情を示す図形が浮かぶ。その助けによってコミュニケーションが改善されるとという。 - 動きで色が変わるナノフィルム “カメレオンの肌”も再現可能?
このフィルムを巻き付ければ、自在に色を変えられる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.