ITmedia NEWS > AI+ >
ニュース
» 2023年03月15日 18時00分 公開

「GPT-4」搭載ChatGPTは、日本の司法試験に合格できるか 英語なら上位10%のスコアで合格レベル 結果は?AIに相談だ!(1/2 ページ)

AIチャットbot「ChatGPT」「新しいBing」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。それぞれの反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。

[谷井将人ITmedia]

 どんな質問にも“それらしい答え”を返してくれるAIチャットbot「ChatGPT」。2023年には大規模言語モデル「GPT-4」を搭載するなど進化を続けている。では、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。

 本連載では、ChatGPTや新しいBingにさまざまな問題を投げかけて、どんな答えを返すか試してみる。その反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。

司法試験の選択問題で性能を比較

 米OpenAIが3月14日に発表した次世代大規模言語モデル「GPT-4」が、ChatGPTの有料版「ChatGPT Plus」で利用できるようになった。まだ一部機能に制限はあるが、これまで搭載していたGPT-3.5よりも推論性能などが向上しているという。

 今回はGPT-3.5とGPT-4に同じ問題を解かせて、回答の違いを比較する。解かせるのは、2022年度の司法試験・刑法の短答式試験だ。英語で司法試験の模擬問題を解かせたところ、GPT-3.5では受験者の下位10%のスコアしか取れなかった。一方、GPT-4では上位10%のスコアで合格できる水準に達したという。

photo 2022年度司法試験・刑法の短答式試験(法務省より)
       1|2 次のページへ

Copyright © ITmedia, Inc. All Rights Reserved.