「GPT-4」搭載ChatGPTは、日本の司法試験に合格できるか 英語なら上位10％のスコアで合格レベル 結果は？：AIに相談だ！（1/2 ページ）

[谷井将人，ITmedia]

　どんな質問にも“それらしい答え”を返してくれるAIチャットbot「ChatGPT」。2023年には大規模言語モデル「GPT-4」を搭載するなど進化を続けている。では、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。

　本連載では、ChatGPTや新しいBingにさまざまな問題を投げかけて、どんな答えを返すか試してみる。その反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。

司法試験の選択問題で性能を比較

　米OpenAIが3月14日に発表した次世代大規模言語モデル「GPT-4」が、ChatGPTの有料版「ChatGPT Plus」で利用できるようになった。まだ一部機能に制限はあるが、これまで搭載していたGPT-3.5よりも推論性能などが向上しているという。

　今回はGPT-3.5とGPT-4に同じ問題を解かせて、回答の違いを比較する。解かせるのは、2022年度の司法試験・刑法の短答式試験だ。英語で司法試験の模擬問題を解かせたところ、GPT-3.5では受験者の下位10％のスコアしか取れなかった。一方、GPT-4では上位10％のスコアで合格できる水準に達したという。

2022年度司法試験・刑法の短答式試験（法務省より）