日本財団、AI使った手話学習ゲーム「手話タウン」を正式リリース　Googleや関西学院大と協力

　日本財団は9月22日、画像認識AIで手話を判別する「手話認識技術」を活用した、手話を学べるオンラインゲーム「手話タウン」を正式リリースした。AIの開発には米Googleや関西学院大学が協力。ICTが普及した影響で、手話の学習においても映像教材が一般的になる中、ゲーム型の教材を提供することで、手話のさらなる普及促進を目指すとしている。

　手話タウンは、手話が公用語として採用された架空の町を舞台に、カフェでの注文やホテルのチェックインなどを体験できるブラウザゲーム。プレイヤーは、Webカメラに向かって手話を使うことで、その手話が状況に応じたものかどうかを確認できる。日本で使われる「日本手話」と香港などで使われる「香港手話」に対応する。利用料は無料。

　日本財団によれば、従来の手話認識技術は手の形と動きだけを認識するものが多いが、手話では手だけでなく体や表情の動きも表現の一部になるため、高精度な判別が難しいという。

　一方、手話タウンでは3つの機械学習モデルを組み合わせて活用する技術を採用したため、（1）人のポーズやジェスチャー、（2）口と顔の表情、（3）手の形と指──を各モデルがそれぞれ分担して検出できる。これにより、手だけでなく体の動きや表情も認識可能になり、判別の精度が高まったとしている。

　AIの開発には、Googleの機械学習用オープンソースライブラリ「TensorFlow」を活用。ゲームの開発には中国の香港中文大学が、日本手話の学習データ収集には関西学院大学が協力した。

　日本財団は5月に手話タウンのβ版を公開。プレイヤー8500人からのフィードバックが集まったことから、手話の見本動画をスロー再生できる機能などを追加して正式リリースした。今後はゲーム内で扱う単語数を増やす他、今回の知見を基に、PCやスマホのカメラで撮影した手話を、音声言語に変換できる翻訳モデルの開発も目指すとしている。

この記事の著者

関連記事

• 

  “エルフ語”対応のAI翻訳サービス　「指輪物語」パロディーだけではなかった本当の目的

• 

  ソフトバンク、AIで手話をテキスト化するツール　健常者と聴覚障害者のコミュニケーションを円滑化

• 

  寄付すると香取慎吾さん作のNFTアートが受け取れる　パラスポーツ支援のチャリティー企画

• 

  「メルカリ寄付」、寄付先に慈善団体を追加　日本財団や日本ユニセフなど10団体

• 

  渋谷に出現した「透明トイレ」が話題に　停電するとスケスケ？　担当者に聞いてみた