「GPT-4」搭載ChatGPTは、日本の司法試験に合格できるか 英語なら上位10％のスコアで合格レベル 結果は？：AIに相談だ！（2/2 ページ）

[谷井将人，ITmedia]

司法試験　短答式試験

　今回は22年度司法試験の中から、刑法分野の短答式試験を解かせてみる。これは、問題を読んで選択肢を選ぶという形式の試験。全20問で配点は合計50点となっている。

GPT3.5　法務省「最低ラインに達していない」

　ChatGPT（GPT-3.5）の点数は、50点中11点だった。法務省の資料を参照すると、この点数は受験者3060人の中でも下から5番目。資料には「最低ラインに達していない」との評価があった。

得点率40％が最低ライン

　そもそも、数字で答えろという問題で「1番が正解で2番は不正解で……」と答えていたり、1つ選ぶ問題で2つ選んでいたりと、解答規則を無視しているものも多かった。

　減点の要因としては「部分点を取りきれない」というのがあった。今回の試験には5問1セットの問題が3問あった。完答で4点、4問正解で2点なのだが、GPT-3.5は3問中2問で0点、1問で2点と結構ボロボロだった。

GPT-4　倍以上の点数を獲得

　ChatGPT（GPT-4）の点数は。50点中25点だった。GPT-3.5の2倍以上の点数だ。ちなみに平均点は36.8点。受験者3060人中2836位タイだった。

ChatGPT（GPT-4）は25点　正答率は高そうだが、配点が高い問題を外しているため点数は高くない

　GPT-3.5に比べればだいぶいいが取りこぼしは多い。しかし3問の部分点あり問題では、完答2回、部分点1回とかなり成績がいい。

　22年度司法試験に合格したのは2494人であるため、合格するには民法や刑法、記述問題での巻き返しが必要になる。とはいえ、日本語においても可能性が見えてきたというのは驚くべきことだろう。