Innovative Tech

ChatGPTの言語モデル「GPT-3.5」、司法試験を受ける　結果は？

公開 2023年01月18日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米Chicago-Kent College of Lawに所属する研究者らが発表した論文「GPT Takes the Bar Exam」は、OpenAIの大規模言語モデル「GPT-3.5」で米国司法試験を受けるとどうなるかを検証した研究報告である。

論文のトップページ

　法律は言語の使用に大きく依存する分野だ。法令や規制、契約、特許、司法判断などの文書を継続的に作成し、膨大な量のテキストデータを生成している。

　他方で、OpenAIのGPT（Generative Pre-trained Transformer）などの登場により大規模言語モデル（LLM）が注目されてきた。最近ではGPT-3.5と呼ばれる「text-davinci-003」モデルが開発されており、GPT-3.5シリーズのモデルを微調整したテキスト対話モデル「ChatGPT」が登場し、一部で話題となった。

　法律用語の複雑な性質とGPT-3.5の一般的なタスクパフォーマンスに関する学習を考えると、GPT-3.5のような最先端のLLMが、法律タスクに成功できるかどうかは未知の問題である。

　この問題を評価するために研究チームは、NCBE（National Conference of Bar Examination）が実施しているMBE（Multistate Bar Examination、全州共通の選択式司法試験）で、GPT-3.5を実験的に試験し評価した。

　結果、GPT-3.5は最高のプロンプトとパラメータを使用した場合、50.3％の平均正解率を達成し、ベースライン（ランダム予測）の推測率25％を大幅に上回り、証拠法（Evidence）と不法行為法（Torts）の2科目で平均合格率を超えた。

　一方で、7科目全部を平均すると、GPT-3.5（平均正解率50％）は人間の受験者（平均正解率68％）に約18％の差で負けた。証拠法（Evidence）、不法行為法（Torts）、民事訴訟法（Civil Procedure）についてはごくわずかな差だが、残りの連邦憲法（Constitutional Law）、不動産法（Real Property）、契約法（Contracts）、刑法（Criminal Law ＆Procedure）では、その差はさらに大きくなり、刑法では36％にも達した。

　次にGPT-3.5の予測回答には、第1候補以外（第2候補、第3候補、第4候補）も出力しているため、第2候補と第3候補の回答率もチェックした。その結果、それぞれ平均71％と88％の正解率となった。

科目ごとの成績。ピンクがGPT-3.5の第1候補の正解率、水色が人間の平均正解率、斜線が第2候補の正解率

科目ごとの正解率。左からGPT-3.5の第1候補の回答、第2候補の回答、第3候補の回答、人間の回答

　今回はUBE（Uniform Bar Examination、全州共通の米国司法試験）の中の1つの試験であるMBEに絞ったが、今後の研究では残りの論文試験（MEE）と起案試験（MPT）の両セクションにおいて、GPT-3.5と微調整したモデルの両方で評価する予定だという。

Source and Image Credits: Bommarito II, Michael, and Daniel Martin Katz. “GPT Takes the Bar Exam.” arXiv preprint arXiv:2212.14402（2022）.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る