　東京大学とソニーコンピュータサイエンス研究所（ソニーCSL）による研究チームが開発した「WithYou」は、言語学習のシャドーイング音声をリアルタイムで評価しフィードバックする、音声認識に基づいた完全自動のチューターシステムだ。学習者の発話ミスを検出し、その結果をもとに難易度の変更や音声テンプレートの繰り返し再生を行い、達成度に応じた学習ができるようにする。

WithYouの概要。シャドーイングに失敗しても難易度を下げて繰り返し再生されるので上達するまで途切れず練習できる

　シャドーイングは、音声を聞いて即座に、もしくはほぼ同時に復唱する学習法として広く知られており、流暢さ、発音、アクセント、イントネーション、リズムなどの口語能力の多くの側面を改善することが研究で証明されている。

　しかしネイティブスピーカーの音声に追いつけず、そのたびに練習を中断し、思うような学習ができないケースもよくある。今回のシステムでは、学習者が失敗したときに再生の制御や難易度の自動調整を行うことで、一人でも効果的なシャドーイング学習ができることを目指す。

　プロトタイプでは、音声認識システムJuliusをベースに、認識速度と精度を両立させるための独自の認識法を追加し、発話内容の評価に用いる。複数文を自動的に切り替えて練習する機能と、同じセンテンスを繰り返し練習するための機能も追加。入力には、学習者が用意する練習のお手本となる音声テンプレートとそれに対応する書き起こしテキストファイルを用いる。

システムの概要図

　検出した音声に基づいて、発話の遅れと単語が正しく発音されているかをGOP（Goodness Of Pronunciation ）スコアをベースに評価する。この評価に基づいて、拍手を鳴らして次のセンテンスへ行くのか、誤って発音しているのでビープ音を鳴らして同じセンテンスを繰り返すのかを判断する。繰り返す場合は、誤ったフレーズの前に短い一時停止を入れることで難易度をコントロールする。このように、学習者は練習するときに手動での操作が不要で、発話だけすれば練習が自動的に調整されて進むので、ストレスフリーだとしている。

　難易度制御は、一時停止の時間を調整することで細かい設定も可能だ。初めて失敗したときには1000ミリ秒、失敗が続いたときには1500ミリ秒と増やし、成功したら500ミリ秒に減らすというように、学習者の習熟度に合わせた調整ができる。これにより、シャドーイングの発話に失敗しても、練習を中断することなく難しいセンテンスを上達するまで行えるようになる。

　今回のシステムは言語学習のシャドーイングに焦点を当てているが、歌、演技、原稿に基づいた講演、発表、スピーチセラピーなどへの応用も可能だという。