日本財団、AI使った手話学習ゲーム「手話タウン」を正式リリース Googleや関西学院大と協力
日本財団が、画像認識AIで手話を判別する「手話認識技術」を活用した、手話を学べるオンラインゲーム「手話タウン」を正式リリースした。ゲーム型の教材を提供することで、手話のさらなる普及促進を目指すとしている。
日本財団は9月22日、画像認識AIで手話を判別する「手話認識技術」を活用した、手話を学べるオンラインゲーム「手話タウン」を正式リリースした。AIの開発には米Googleや関西学院大学が協力。ICTが普及した影響で、手話の学習においても映像教材が一般的になる中、ゲーム型の教材を提供することで、手話のさらなる普及促進を目指すとしている。
手話タウンは、手話が公用語として採用された架空の町を舞台に、カフェでの注文やホテルのチェックインなどを体験できるブラウザゲーム。プレイヤーは、Webカメラに向かって手話を使うことで、その手話が状況に応じたものかどうかを確認できる。日本で使われる「日本手話」と香港などで使われる「香港手話」に対応する。利用料は無料。
日本財団によれば、従来の手話認識技術は手の形と動きだけを認識するものが多いが、手話では手だけでなく体や表情の動きも表現の一部になるため、高精度な判別が難しいという。
一方、手話タウンでは3つの機械学習モデルを組み合わせて活用する技術を採用したため、(1)人のポーズやジェスチャー、(2)口と顔の表情、(3)手の形と指──を各モデルがそれぞれ分担して検出できる。これにより、手だけでなく体の動きや表情も認識可能になり、判別の精度が高まったとしている。
AIの開発には、Googleの機械学習用オープンソースライブラリ「TensorFlow」を活用。ゲームの開発には中国の香港中文大学が、日本手話の学習データ収集には関西学院大学が協力した。
日本財団は5月に手話タウンのβ版を公開。プレイヤー8500人からのフィードバックが集まったことから、手話の見本動画をスロー再生できる機能などを追加して正式リリースした。今後はゲーム内で扱う単語数を増やす他、今回の知見を基に、PCやスマホのカメラで撮影した手話を、音声言語に変換できる翻訳モデルの開発も目指すとしている。
関連記事
- “エルフ語”対応のAI翻訳サービス 「指輪物語」パロディーだけではなかった本当の目的
AI翻訳サービスを手掛けるオルツは、音声翻訳サービス「AI翻訳」が“エルフ語”に対応したと発表した。日本語を「指輪物語」シリーズに登場するエルフ(妖精)の言語に翻訳できる。ジョーク機能だが、独自の機械学習モデルを開発する研究の一環として作成したという。 - ソフトバンク、AIで手話をテキスト化するツール 健常者と聴覚障害者のコミュニケーションを円滑化
ソフトバンクと電気通信大学が、AIを活用して手話をテキスト化するツール「SureTalk」を開発。ビデオ通話と組み合わせることで、健常者と聴覚障害者の円滑なコミュニケーションに役立つという。 - 寄付すると香取慎吾さん作のNFTアートが受け取れる パラスポーツ支援のチャリティー企画
タレントの香取慎吾さんが、日本財団パラリンピックサポートセンターへのチャリティー企画をスタート。3900円を寄付すると、香取さん作のNFTアートを受け取れる。 - 「メルカリ寄付」、寄付先に慈善団体を追加 日本財団や日本ユニセフなど10団体
メルカリがフリマアプリ「メルカリ」でユーザーが得た売り上げ金の一部を自治体や企業に寄付できる「メルカリ寄付」の寄付先として、日本財団など10の慈善団体を追加したと発表。 - 渋谷に出現した「透明トイレ」が話題に 停電するとスケスケ? 担当者に聞いてみた
渋谷区内に設置された「透明トイレ」がネットで話題だ。特殊構造のガラスを採用し、普段は透明だが、利用者が施錠すると中が見えなくなる仕組みだ。設置プロジェクトを企画した日本財団によると、来年夏までに計17カ所がオープンする予定。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.