NTTのAI、センター試験の英語筆記で偏差値64突破 “試験対策”に工夫 「東ロボ」プロジェクトの一環
NTTは、同社開発のAIに2019年センター試験の英語筆記本試験を解かせ、200点中185点(偏差値64.1)を獲得したと発表した。
NTTは11月18日、同社で開発したAIに2019年センター試験の英語筆記本試験を解かせ、200点中185点(偏差値64.1)を獲得したと発表した。同社が16年に行った手法に比べて約90点成績を伸ばした。前回の学びから、さまざまな“試験対策”を施した結果だという。
同社は、NTTグループのAI関連技術「corevo」の研究と、国立情報学研究所(NII)が主導する「ロボットは東大に入れるか」(東ロボ)プロジェクトの一環として、センター試験の英語筆記本試験にAIで挑んだ。過去3年分の本試験と追試験でも、偏差値60以上を安定して上回ったという。16年に行った模擬試験では200点中95点(偏差値55.5)にとどまっており、前回から大幅に点数を伸ばした。
「足りない問題を自動生成」「機械学習を使わない」など“試験対策”
今回、センターの英語試験で採用されている問題形式である「不要文除去」「段落タイトル付与」「発音問題」に、NTTのコミュニケーション科学基礎研究所(CS研)を中心とする東ロボ英語チームが開発した独自技術を適用して点数向上を図った。CS研は自然言語処理の研究開発を行う部門だ。
文章の中から文脈上必要ない一文を見つける「不要分除去」問題では、一般的な文章に不要な文がないことから、学習に使うデータを集めるのが難しいという問題があった。従来のアプローチでは、17〜19年の試験で出題された15問中6問のみの正解にとどまるなど、十分な精度が出せなかったという。
東ロボ英語チームでは、普通の文章を基に文章の順番を組み替えた不自然な文章を作ることで、不要分除去問題を自動生成した。この問題を用いてAIに学習させたところ、15問全てに正しく答えることができた。
段落の適切なタイトルを選ぶ「段落タイトル付与」問題では、問題の構造が特殊なため、既存の自然言語処理技術が使えないという。同チームは段落と選択肢の近似率を計算して適切な選択肢を選ぶ方法を考えた。これにより、17〜19年に出題された5問について全問正解できるようになった。
与えられた単語の正しい読み方を問う「発音問題」は、辞書に載っている正しい発音を基に答える必要があるため、機械学習による自然言語処理技術では対応できないという。
同チームは、機械学習を使わずに辞書を引く方法を採用。ほぼ満点の成績が取れるようになった。
NTTは今後、図やグラフなど言語以外の情報や一般常識が必要な問題を解くための研究を進める。東ロボプロジェクトでの取り組みを生かして技術開発を行い、さまざまなサービスに展開するとしている。
NIIが主導する「ロボットは東大に入れるか」プロジェクトは2011年に立ち上がった。大学入試問題を解くことでAIの性能を客観的に測ることが目的で、21年春までに東京大学の入試を突破できるAIを開発するとしていた。しかし、16年には「AIにとって難しい『意味を理解する』という分野を突き詰めようとすると、莫大な時間とコストが掛かる」として、東大合格を断念する方針を発表していた。
関連記事
- “東大断念”も「近未来AIとしての結果に驚き」──人工頭脳「東ロボくん」、今年は535大学が合格圏内に
大学入試問題でAIの進化を測る「ロボットは東大に入れるか」プロジェクトが2016年の成果を報告。昨年を大きく上回る成績を記録したという。 - 「AIの性能を上げている場合ではない」──東ロボくん開発者が危機感を募らせる、AIに勝てない中高生の読解力
東大合格を断念したAI「東ロボくん」。2016年は理系数学で偏差値76.2を記録したが、問題文の意味を理解しないAIに8割近い高校生はなぜ勝てなかったのか。NIIの新井教授が語った。 - 人工知能「東ロボくん」、センター試験模試で「偏差値57.8」 数学と世界史は偏差値60超え
東大合格を目指す人工知能「東ロボ」くんが、大学入試センター試験模試で偏差値57.8を記録。数学と世界史の計3科目を偏差値60を超える好成績を収めた。 - 人工頭脳「東ロボくん」、センター模試英語で「偏差値50.5」 国公立4校でA判定
人工頭脳プロジェクト「ロボットは東大に入れるか」で、人工知能「東ロボくん」が代ゼミセンター模試に挑戦したところ、英語で偏差値50.5と平均を超え、全体成績では国公立4校6学部でA判定だったという。 - 人工頭脳「東ロボくん」、代ゼミ東大模試に挑戦 結果は“偏差値60”
人工頭脳プロジェクト「ロボットは東大に入れるか」が開発を進めている「東ロボくん」が代ゼミ模試に挑戦し、「偏差値約60」という結果を出した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.