「GPT-4」搭載ChatGPTは、日本の司法試験に合格できるか 英語なら上位10%のスコアで合格レベル 結果は?:AIに相談だ!(2/2 ページ)
AIチャットbot「ChatGPT」「新しいBing」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。それぞれの反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。
司法試験 短答式試験
今回は22年度司法試験の中から、刑法分野の短答式試験を解かせてみる。これは、問題を読んで選択肢を選ぶという形式の試験。全20問で配点は合計50点となっている。
GPT3.5 法務省「最低ラインに達していない」
ChatGPT(GPT-3.5)の点数は、50点中11点だった。法務省の資料を参照すると、この点数は受験者3060人の中でも下から5番目。資料には「最低ラインに達していない」との評価があった。
そもそも、数字で答えろという問題で「1番が正解で2番は不正解で……」と答えていたり、1つ選ぶ問題で2つ選んでいたりと、解答規則を無視しているものも多かった。
減点の要因としては「部分点を取りきれない」というのがあった。今回の試験には5問1セットの問題が3問あった。完答で4点、4問正解で2点なのだが、GPT-3.5は3問中2問で0点、1問で2点と結構ボロボロだった。
GPT-4 倍以上の点数を獲得
ChatGPT(GPT-4)の点数は。50点中25点だった。GPT-3.5の2倍以上の点数だ。ちなみに平均点は36.8点。受験者3060人中2836位タイだった。
GPT-3.5に比べればだいぶいいが取りこぼしは多い。しかし3問の部分点あり問題では、完答2回、部分点1回とかなり成績がいい。
22年度司法試験に合格したのは2494人であるため、合格するには民法や刑法、記述問題での巻き返しが必要になる。とはいえ、日本語においても可能性が見えてきたというのは驚くべきことだろう。
関連記事
- 「GPT-4」発表 日本語でもChatGPT英語版より高性能、司法試験で上位10%、「この画像何が面白いの?」にも回答
大規模言語モデル「GPT-4」が登場。テキストでのやり取りだけでなく、ユーザーから画像も受け取れるようになった。司法試験の模擬問題を解かせると上位10%のスコアで合格する。ChatGPTの有料版やAPI経由でこれから利用可能になる。 - GPT-4をいち早く試すなら「ChatGPT Plus」 月額2400円だが、画像入力など「お楽しみはこれから」
米OpenAIが3月14日(現地時間)に公開した、次世代大規模言語モデル「GPT-4」。これまでのGPT-3や、「ChatGPT」に搭載されたGPT-3.5よりも推論性能を向上させた他、入力された画像に対してコメントしたりなど、マルチモーダル対応を果たしている。 - 「新しいBing」のエンジン、実は「検索用にカスタマイズしたGPT-4」
Microsoftは、OpenAIによる「GPT-4」発表を受け、「新しいBing」はGPT-4を使っていると認めた。新しいBingのプレビューリリース段階から、検索用にカスタマイズしたGPT-4だった。ターン上限は15/150に増加した。 - 実は2カ月前から“GPT-4”を活用していた 英会話アプリ「スピーク」運営が明らかに SNSでも「AI講師がすごすぎる」などの声
教育支援事業を手掛ける米Speakeasy Labsは英会話アプリ「スピーク」の機能に大規模言語モデル「GPT-4」を活用していると発表した。GPT-4の公式発表の2カ月前から活用していたという。
Copyright © ITmedia, Inc. All Rights Reserved.