　ユーザーはRPGゲーム内で歩きながら、与えられたミッションをクリアするために、登場キャラクターに英語で話しかけて情報収集を行う。文法や発音の正確さではなく、会話への積極性を主に評価している。そのため、会話が伝わった成功体験が積み重なることで、英会話における積極性と、それによるコミュニケーションの満足感がともに強化されるという。

キャラクターとの対話シーン。中央の英文がユーザーが発する言葉、下部の英文がキャラクターが発する英文

　「不完全な英語でも通用する」というような実社会で使える生きた英語は、机上の勉強や、オンライン／オフラインの対面型英会話で身に付けるのは非常に難しい。これらの学習法では、実践的なシチュエーションにおいて、失敗を恐れず発話する積極性を身に付けるのが困難だからだ。

　他方で、学習者が目標言語の使用体験から知識を形成しようとするコミュニカティブ・アプローチが注目を集めている。今回は、英語文法の正しさよりも実際のコミュニケーションのように生き生きとした積極的な発話から良い反応が返ってくることが実践的な学びになると考え、コミュニカティブ・アプローチを取り入れたゲーミフィケーション学習法を提案する。

　具体的には、ユーザーがバーチャル空間を歩き回り出会ったキャラクターと英語で音声会話を行う。その際、RPG形式のゲームを適用し、ゲームクリアに向けて人捜しやパーティーへの勧誘など会話による情報取得やキャラクターとの関係性の構築という動機付けを組み込む。

　体験中はナビゲーションによる誘導で何をしなければならないかを表示する。キャラクターと話すシーンでは、現時点ではユーザーが話さなければならない英文と、キャラクターが話す英文が画面上に表示する。英文はユーザーが任意に日本語の文章に切り替えることもできる。今後は、ユーザーの積極性のレベルに応じて会話に自由度の幅を与え、よりコミュニカティブ・アプローチを強化する予定である。

キャラクターと対話するシーンにおいて表示される英文と日本語の文章のインタフェースの違い

　発話内容は音声認識で判定され、伝わった場合と伝わらなかった場合でキャラクターが適宜返答する。発話内容の成功か失敗かの判定は、会話の内容に応じてあらかじめ決めておいた入力想定語が音声認識結果の中に含まれるかどうかのみで決定する。

　今回は、失敗の恐れなく成功体験と満足感を重ねるために、発話を積極的に行うことでフィードバックを得るシステムとするため、文法や発音の正確さではなく発話した努力である積極性を評価し、積極性に対して報酬を与える枠組みを取り入れる。

　ここでいう積極性とは、単純な返答ではなく自分の思ったことを話す、恥ずかしがらず相手にはっきり聞こえる声で間違っていても堂々と話す、取りあえず喋っただけの一本調子な話し方ではなく抑揚のある発話、などを示す。これらを基に、積極性の評価に使用するパラメーターを作成した。

ユーザーに発話権が移ってから、ユーザーが発話を始めるまでの時間
ユーザーが発話した合計時間の割合（発話終了までの時間に対する発話時間、発話停止時間が長いと下がる）
ユーザーの発話における抑揚（音量・音程）の変化幅
発話全体の音量の平均値

　上記のパラメーターを含むアルゴリズムで、会話における積極性評価指標をリアルタイムに算出する。出力した積極性評価指標が機能するかを評価するため、抑揚の付け方や発話タイミングなどを変化させて複数回発話し実験を行った。

　その結果、提案アルゴリズムが一定のレベルで設計の狙い通り動作することを確認した。今後は提案アルゴリズムの妥当性向上に向けた検証を重ねる予定である。

実際に発話した音声と抑揚情報

出典および画像クレジット: 松村直季, 米澤朋子. “対面英会話を模す没入型RPG ゲームにおける韻律情報を用いた会話積極性評価の導入” 研究報告コンピュータビジョンとイメージメディア（CVIM）. Vol.2022-CVIM-228, No.13, p.1-6.松村直季・米澤朋子（関西大）ゲーム没入環境におけるキャラクタとの対面英会話学習システムの提案. 信学技報, vol. 121, no. 179, MVE2021-17, pp. 50-55, 2021年9月. https://www.ieice.org/ken/paper/202109188Cfc/ Copyright c IEICE

英語ネイティブとの発音の違いを深層学習で可視化　ソニーCSLが開発
ソニーコンピュータサイエンス研究所（ソニーCSL）京都研究室の研究チームは、非母国語の学習において、学習者の発話とネイティブスピーカーの発話の違いを深層学習を使い分析し、視覚的に提示するシステムを開発した。
3Dプリントしたゼラチンをゲームコントローラーで操作　破損しても5回まで再印刷可能
オーストリアのJohannes Kepler University Linzの研究チームは、3Dプリンタを使い、ゼラチンベースの生分解性ハイドロゲルを造形できる手法を開発した。アクチュエータやセンサーを搭載することで、ゲーム用コントローラーでハイドロゲルを制御できる。
コロナ禍にTwitter上で拡散したデマツイート、東大と和歌山大が調査　社会や個人への影響度を分析
東京大学と和歌山大学の研究チームは、新型コロナウイルス感染症で起こったパンデミック時にTwitterに投稿された流言を収集し分析した。
動く物体と背景に張り付くプロジェクションマッピング　東工大などが開発
東京工業大学などの研究チームは、動く対象物だけでなく、動く背景の奥行きも追従し画像投影する深度考慮型ダイナミックプロジェクションマッピングを開発した。例えば、前景の顔だけでなく、背景の布地も動きに応じた画像投影をマーカーレスで行う。
意図しないタッチを98％以上で判別　常に指を置いたままタイピングできるタッチスクリーン
中国の清華大学の研究チームは、意図しないタッチを防ぐ感圧式タッチスクリーンキーボードを開発した。タッチスクリーンの意図しないタッチを機械学習で識別し、入力の邪魔にならないように排除することで入力速度と正確性を向上させる。