Innovative Tech

ゲームキャラに「Excuse me」　英会話で進行するRPGゲーム、関西大学が開発　文法ではなく積極性を評価

公開 2022年02月10日 08時02分

著者

山下裕毅

[ITmedia]

印刷する Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　関西大学米澤研究室の研究チームが開発した「対面英会話を模す没入型RPGゲームにおける韻律情報を用いた会話積極性評価の導入」は、失敗を恐れず堂々と英語を話す積極性を向上させるためのゲーミフィケーションを使った語学学習法だ。

　ユーザーはRPGゲーム内で歩きながら、与えられたミッションをクリアするために、登場キャラクターに英語で話しかけて情報収集を行う。文法や発音の正確さではなく、会話への積極性を主に評価している。そのため、会話が伝わった成功体験が積み重なることで、英会話における積極性と、それによるコミュニケーションの満足感がともに強化されるという。

キャラクターとの対話シーン。中央の英文がユーザーが発する言葉、下部の英文がキャラクターが発する英文

　「不完全な英語でも通用する」というような実社会で使える生きた英語は、机上の勉強や、オンライン／オフラインの対面型英会話で身に付けるのは非常に難しい。これらの学習法では、実践的なシチュエーションにおいて、失敗を恐れず発話する積極性を身に付けるのが困難だからだ。

　他方で、学習者が目標言語の使用体験から知識を形成しようとするコミュニカティブ・アプローチが注目を集めている。今回は、英語文法の正しさよりも実際のコミュニケーションのように生き生きとした積極的な発話から良い反応が返ってくることが実践的な学びになると考え、コミュニカティブ・アプローチを取り入れたゲーミフィケーション学習法を提案する。

　具体的には、ユーザーがバーチャル空間を歩き回り出会ったキャラクターと英語で音声会話を行う。その際、RPG形式のゲームを適用し、ゲームクリアに向けて人捜しやパーティーへの勧誘など会話による情報取得やキャラクターとの関係性の構築という動機付けを組み込む。

　体験中はナビゲーションによる誘導で何をしなければならないかを表示する。キャラクターと話すシーンでは、現時点ではユーザーが話さなければならない英文と、キャラクターが話す英文が画面上に表示する。英文はユーザーが任意に日本語の文章に切り替えることもできる。今後は、ユーザーの積極性のレベルに応じて会話に自由度の幅を与え、よりコミュニカティブ・アプローチを強化する予定である。

キャラクターと対話するシーンにおいて表示される英文と日本語の文章のインタフェースの違い

　発話内容は音声認識で判定され、伝わった場合と伝わらなかった場合でキャラクターが適宜返答する。発話内容の成功か失敗かの判定は、会話の内容に応じてあらかじめ決めておいた入力想定語が音声認識結果の中に含まれるかどうかのみで決定する。

　今回は、失敗の恐れなく成功体験と満足感を重ねるために、発話を積極的に行うことでフィードバックを得るシステムとするため、文法や発音の正確さではなく発話した努力である積極性を評価し、積極性に対して報酬を与える枠組みを取り入れる。

　ここでいう積極性とは、単純な返答ではなく自分の思ったことを話す、恥ずかしがらず相手にはっきり聞こえる声で間違っていても堂々と話す、取りあえず喋っただけの一本調子な話し方ではなく抑揚のある発話、などを示す。これらを基に、積極性の評価に使用するパラメーターを作成した。

ユーザーに発話権が移ってから、ユーザーが発話を始めるまでの時間
ユーザーが発話した合計時間の割合（発話終了までの時間に対する発話時間、発話停止時間が長いと下がる）
ユーザーの発話における抑揚（音量・音程）の変化幅
発話全体の音量の平均値

　上記のパラメーターを含むアルゴリズムで、会話における積極性評価指標をリアルタイムに算出する。出力した積極性評価指標が機能するかを評価するため、抑揚の付け方や発話タイミングなどを変化させて複数回発話し実験を行った。

　その結果、提案アルゴリズムが一定のレベルで設計の狙い通り動作することを確認した。今後は提案アルゴリズムの妥当性向上に向けた検証を重ねる予定である。

実際に発話した音声と抑揚情報

出典および画像クレジット: 松村直季, 米澤朋子. “対面英会話を模す没入型RPG ゲームにおける韻律情報を用いた会話積極性評価の導入” 研究報告コンピュータビジョンとイメージメディア（CVIM）. Vol.2022-CVIM-228, No.13, p.1-6.松村直季・米澤朋子（関西大）ゲーム没入環境におけるキャラクタとの対面英会話学習システムの提案. 信学技報, vol. 121, no. 179, MVE2021-17, pp. 50-55, 2021年9月. https://www.ieice.org/ken/paper/202109188Cfc/ Copyright c IEICE

印刷する