「AIの性能を上げている場合ではない」──東ロボくん開発者が危機感を募らせる、AIに勝てない中高生の読解力：「ロボットは東大に入れるか」成果報告会（3）

東大合格を断念したAI「東ロボくん」。2016年は理系数学で偏差値76.2を記録したが、問題文の意味を理解しないAIに8割近い高校生はなぜ勝てなかったのか。NIIの新井教授が語った。

[山口恵祐，ITmedia]

　「東ロボくんの性能を上げるよりも、中高生の読解力向上が直近の課題」――国立情報学研究所（NII）が14日に開催した人工知能（AI）開発プロジェクト「ロボットは東大に入れるか」の2016年成果報告会で、中心メンバーの新井紀子教授が警鐘を鳴らした。

　NIIの調査によれば、中学生よりも（文脈を理解できない）AIのほうが文章を読めているという事例があるという。「正直言って、東ロボくん（AI）の性能を上げるよりも中高生の読解力を向上させるほうが国民としては直近の課題だ」（新井教授）。

国立情報学研究所（NII）の新井紀子教授

8割の高校生がAIに敗れた理由

　同プロジェクトが発表した2016年の結果によれば、東大の2次試験を想定した論述式模試「東大入試プレ」（代々木ゼミナール）の理系数学で、東ロボくんが偏差値76.2という高スコアをマーク。その他の科目も安定して偏差値50以上を取れるようになったという。

東大2次試験に向けた模試（理系数学）の偏差値推移

　しかし、同プロジェクトは「選択と集中」を理由に東大合格を断念。NIIは「AIは意味を深く理解しなくてはいけない問題が苦手。論理的に解こうとしたときの限界がある」（新井教授）といった理由から、今後はAIが得意なことを伸ばして産業応用への道を目指すと発表している。

自然な文の並びを理解するには、500億文規模の複数分データが必要。このデータは世の中に存在せず、十分な統計情報が得られないという

　新井教授が問題視するのは「AIが問題文の意味を理解していないにもかかわらず、どうして8割もの高校生がAIに敗れてしまったのか」という点だ。

　1つの考え方として「AIが得意とする計算や暗記が人間は苦手」というものがあるが、新井教授は「中高生も、AIと同様に教科書や問題文が読めていないのでは」という懸念をもとに、全国1万5000人の中高校生を対象として「日本語の文を読んで意味が理解できているか」という調査を2015年から開始した。

　例えば「仏教は東南アジア、東アジアに、キリスト教はヨーロッパ、南北アメリカ、オセアニアに、イスラム教は北アフリカ、西アジア、中央アジア、東南アジアにおもに広がっている」という例文から「オセアニアに広がっているのは（　　　）である」という文の空欄にあてはまるものを選ぶ問題がある。

　文章をしっかり読めば、答えがキリスト教であることは明白だ。しかし、全国約1000人の中高生のうち、約3割が正答を選べなかったという。他にも問題文に回答が書いてあるような同様の問題で、文章を正しく読み取れない生徒が一定の割合で存在しているという。

（出典・東京書籍(株) 中学校社会教科書「新しい社会 地理」）

少し複雑な読み取り問題となると、正答率は高校生で3割、中学生は1割にまで低下する（出典・(株)帝国書院 中学校社会科教科書「中学生の地理」）

　これらの問題は、文を理解する必要があるためAIも同様に解くことが難しいものだ。その一方で、AIが得意とする「計算」や「暗記」といった問題は、中高生も比較的正答率が高くなるという。つまり、中高生とAIの得意分野と苦手分野が重なってしまっていることになる。

AIが苦手なことは、中高生も苦手

　新井教授はこの結果に対してショックを受けたという。「計算の正確さと暗記の正しさで人間がAIに負けることは何も問題はなく、人間はAIを使って生産性を上げていけばいい。しかし、（AIが苦手な読解力を伸ばさずに）AIが得意とする分野で人間が対抗しても勝てないだろう」（新井教授）。

　AIが進歩して社会に浸透していくなかで、人間は人間らしい読解力や意味理解を深めることで差別化していく必要がある。このままでは社会に格差や分断が広がるのではと新井教授は危機感を募らせる。これに伴い、NIIは文章を正確に読み取る力を測る「リーディングスキルテスト」（RST）を開発・提供すると7月に発表している。

　「例えば原子力発電所の業務マニュアル。教科書より難しいことがマニュアルや仕様書、指示書には書いてあり、読めない人が作業をしたらリスクがある。これは資本・民主主義の危機ではないだろうか」（新井教授）。

東ロボくんが実際に書いた解答用紙。動画はこちら