ITmedia NEWS
社会とIT
日本財団、AI使った手話学習ゲーム「手話タウン」を正式リリース　Googleや関西学院大と協力

日本財団、AI使った手話学習ゲーム「手話タウン」を正式リリース　Googleや関西学院大と協力

公開 2021年09月22日 21時05分

更新 2021年09月22日 09時05分

[ITmedia]

印刷する

　日本財団は9月22日、画像認識AIで手話を判別する「手話認識技術」を活用した、手話を学べるオンラインゲーム「手話タウン」を正式リリースした。AIの開発には米Googleや関西学院大学が協力。ICTが普及した影響で、手話の学習においても映像教材が一般的になる中、ゲーム型の教材を提供することで、手話のさらなる普及促進を目指すとしている。

手話を学べるオンラインゲーム「手話タウン」

　手話タウンは、手話が公用語として採用された架空の町を舞台に、カフェでの注文やホテルのチェックインなどを体験できるブラウザゲーム。プレイヤーは、Webカメラに向かって手話を使うことで、その手話が状況に応じたものかどうかを確認できる。日本で使われる「日本手話」と香港などで使われる「香港手話」に対応する。利用料は無料。

手話タウンの主な機能

　日本財団によれば、従来の手話認識技術は手の形と動きだけを認識するものが多いが、手話では手だけでなく体や表情の動きも表現の一部になるため、高精度な判別が難しいという。

　一方、手話タウンでは3つの機械学習モデルを組み合わせて活用する技術を採用したため、（1）人のポーズやジェスチャー、（2）口と顔の表情、（3）手の形と指──を各モデルがそれぞれ分担して検出できる。これにより、手だけでなく体の動きや表情も認識可能になり、判別の精度が高まったとしている。

手話の認識には3つの機械学習モデルを組み合わせた

　AIの開発には、Googleの機械学習用オープンソースライブラリ「TensorFlow」を活用。ゲームの開発には中国の香港中文大学が、日本手話の学習データ収集には関西学院大学が協力した。

プロジェクトでの役割

　日本財団は5月に手話タウンのβ版を公開。プレイヤー8500人からのフィードバックが集まったことから、手話の見本動画をスロー再生できる機能などを追加して正式リリースした。今後はゲーム内で扱う単語数を増やす他、今回の知見を基に、PCやスマホのカメラで撮影した手話を、音声言語に変換できる翻訳モデルの開発も目指すとしている。

印刷する