NEWS Weekly Top10

AIは予想より“ポンコツ”だった？　共通テストの数学、ChatGPTでも平均点未満という結果に驚く

ITmedia NEWS Weekly AccessTop10

1. 1

   文化遺産の屋外プール、完全に干上がる──能登半島地震の“海岸隆起”で　東大地震研が現地写真を公開
2. 2

   「地面が約4m隆起した」──能登半島地震の地殻変動、産総研が調査結果発表
3. 3

   人工衛星「EYE」から地球を撮影してみた　思わぬ写真が撮れた
4. 4

   高校入試の出願システム、Gmailにメール届かず……神奈川県、受験生に「@gmail.com以外のアドレス使って」
5. 5

   VTuber・夜空メルが契約解除に　ホロライブ運営「機密情報の漏えいなどがあったため」
6. 6

   「空飛ぶバイク」のA.L.I. Technologiesが破産手続き開始　仮面ライダーや新庄監督も乗っていた
7. 7

   大学入試共通テスト、3つのチャットAIに解かせてみたら？　GPT-4はバケモノだった
8. 8

   自転車泥棒、追い詰めた執念……「ヤフオク！」のアラートで追跡、Facebookで本人特定
9. 9

   ソニー「α9 III」使ってみた　“異次元のカメラ”だった
10. 10

    震災で意識高まる「家庭内蓄電」　太陽光の“卒FIT”にポータブルバッテリーメーカーが注目する理由

　大学入試共通テストが行われた先週、「生成AIに試験問題を解かせてみた」というブログ（note）を紹介した記事がアクセス7位に入った。

　点数を競ったのは、米OpenAIの「ChatGPT」（GPT-4）、米Googleの「Bard」、米Anthropicの「Claude2」の3つの文章生成AI。企業へのAI導入コンサルティングなどを手掛けるLifePrompt（東京都千代田区）による実験だ。

　結果を一読して意外だったのは、数学の正答率の圧倒的な低さだ。どのAIも受験生の平均点予想を上回れず、正答率は最大で46％（ChatGPTの「数学2B」）。Bardの「数学1A」に至ってはわずか6％しか取れていない。英語や国語、歴史科目などに比べても、目に見えて低い数字だ。

　AIやコンピュータ、ロボットが「できること」のイメージは、ChatGPT以降、大きく変わったように思う。それまでは、AIやコンピュータは、特に数字や計算に関しては「間違わない」イメージがあった。今回の実験ブログを読む前、筆者も「受験5教科の中なら、AIは数学が一番得意では」と予想したのだが、真逆の結果だったのだ。

　なぜ数学の正答率が低かったのか。LifePromptは、（1）生成AIの計算スキルが高校数学の範囲を簡単に解けるレベルまで進化していなかったこと、（2）共通テスト数学の特殊な解答形式に対応できなかったこと――をその理由に挙げている。

　（2）のキモは、問題文と回答欄の読み解きだ。共通テストの問題は、問題文や式の中に四角い空欄が設けられ、「ア」「イ」などと片仮名がふられて、そこにあてはまる数字や記号を答える形式。Google BardやClaude2は特に、片仮名の当てはめでミスをしたという。

　つまり、人間に解かせるために作られた問題形式の読み解きが、AIにはまだ難しい（正確に解かせるためには、より適切なプロンプトを与えてやる必要がある）ということのようだ。

　かつて、SF的なAIやロボットのイメージは、完璧に計算できてロジカルで冷たくて、人間が太刀打ちできない何かだった。だが、こうして生成AIが日常に浸透してくると、イメージと違うところも多く、意外と“ポンコツ”な部分もあるんだなあとホッコリすることがある。

　なんて言っていられるのも今年のうちぐらいで、2025年ごろにはもっと完璧なAIが現れて、「これが……シンギュラリティ……」とか言っているのかもしれないが。

NEWS Weekly Top10

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  大学入試共通テスト、3つのチャットAIに解かせてみたら？　GPT-4はバケモノだった

• 

  AIと恋愛できるiOSアプリ「恋するAI」　マッチングアプリ「タップル」提供元が開発 「少子化問題を解決したい」　

• 

  芥川賞作「ChatGPTなど駆使」「5％は生成AIの文章そのまま」　九段理江さん「東京都同情塔」

• 

  「ChatGPTを駆使した」芥川賞作品を読む　“ポリコレ的にOKな表現”が支配する未来とは

• 

  被災地支援に“ロボット犬”　陸上自衛隊が運用中　避難所への誘導支援などに活用