AIに相談だ！

「GPT-4」搭載ChatGPTは、日本の司法試験に合格できるか　英語なら上位10％のスコアで合格レベル　結果は？（2/2 ページ）

司法試験　短答式試験

　今回は22年度司法試験の中から、刑法分野の短答式試験を解かせてみる。これは、問題を読んで選択肢を選ぶという形式の試験。全20問で配点は合計50点となっている。

GPT3.5　法務省「最低ラインに達していない」

　ChatGPT（GPT-3.5）の点数は、50点中11点だった。法務省の資料を参照すると、この点数は受験者3060人の中でも下から5番目。資料には「最低ラインに達していない」との評価があった。

　そもそも、数字で答えろという問題で「1番が正解で2番は不正解で……」と答えていたり、1つ選ぶ問題で2つ選んでいたりと、解答規則を無視しているものも多かった。

　減点の要因としては「部分点を取りきれない」というのがあった。今回の試験には5問1セットの問題が3問あった。完答で4点、4問正解で2点なのだが、GPT-3.5は3問中2問で0点、1問で2点と結構ボロボロだった。

GPT-4　倍以上の点数を獲得

　ChatGPT（GPT-4）の点数は。50点中25点だった。GPT-3.5の2倍以上の点数だ。ちなみに平均点は36.8点。受験者3060人中2836位タイだった。

　GPT-3.5に比べればだいぶいいが取りこぼしは多い。しかし3問の部分点あり問題では、完答2回、部分点1回とかなり成績がいい。

　22年度司法試験に合格したのは2494人であるため、合格するには民法や刑法、記述問題での巻き返しが必要になる。とはいえ、日本語においても可能性が見えてきたというのは驚くべきことだろう。

この記事の著者

関連記事

• 

  「GPT-4」発表　日本語でもChatGPT英語版より高性能、司法試験で上位10％、「この画像何が面白いの？」にも回答

• 

  GPT-4をいち早く試すなら「ChatGPT Plus」　月額2400円だが、画像入力など「お楽しみはこれから」

• 

  「新しいBing」のエンジン、実は「検索用にカスタマイズしたGPT-4」

• 

  実は2カ月前から“GPT-4”を活用していた　英会話アプリ「スピーク」運営が明らかに　SNSでも「AI講師がすごすぎる」などの声