話し言葉を手話に自動変換 なめらかな生成を実現──英研究：Innovative Tech

手話の遷移を滑らかにする技術。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　英サリー大学の研究チームが開発した「Progressive Transformers for End-to-End Sign Language Production」は、深層学習で音声言語から手話の動きを生成するフレームワーク（Sign Language Production、SLP）だ。

生成された手話ポーズのシーケンス。上から翻訳されたテキスト言語、本手法による出力

　音声言語から手話の動きへ変換する研究はこれまでも行われてきたが、話し言葉から変換された手話は滑らかではなかった。今回の手法では、連続的な流れの手話ポーズシーケンスを生成する。

　最初に話し言葉のシーケンスを手話表現にマッピングし、次に正確な手話表現を3Dスケルトンポーズへ変換する。

　この手法によって生成した手話の正確さを評価するため、実際の手話と比較した。その結果はほぼ一致し、特に手話間の滑らかな遷移が正しく生成されたとしている。

（a）入力の音声言語（b）生成された手話ポーズシーケンス（c）Ground Truthのポーズ（d）比較用のオリジナルビデオ