「法務でAIがどこまで使えるか」を測るデータセット、デジタル庁が公開

デジタル庁は、AIが法務でどれほど使えるかを測る「日本の法令に関する多肢選択式QAデータセット」を公開した。行政機関や企業の法務部門AI導入に役立てたい考えだ。

[ITmedia]

　デジタル庁は10月9日までに、AIが法務でどれほど使えるかを測る「日本の法令に関する多肢選択式QAデータセット」を公開した。同データセットは、法令分野に関する4択問題と回答、問題の背景となる法令の抜粋などを含む。行政機関や企業の法務部門でのAI導入に役立てたい考えだ。

「日本の法令に関する多肢選択式QAデータセット」（出典：GitHubの公開サイト）

　同データセットは、複数の大規模言語モデル（LLM）により作成・検証したもの。含まれる問題が選択式のため、AIの回答を自動で採点・評価しやすいのが特徴だ。政府が持つデータのAI開発での活用を目指し、同庁が実施した「政府等保有データのAI学習データへの変換にかかる調査研究」で利用した。

　同データセットの主な利用方法として、AIが法務でどれほど使えるかを測る評価データを想定する。また、同庁のテストによると、同データセットをPreferred NetworksのLLM「PLaMo-100B」の継続事前学習と指示学習に利用することで、AIの法務能力が高まったことを確認したという。

同庁による検証結果（出典：「政府等保有データのAI学習データへの変換にかかる調査研究」の最終報告書）

　同データセットは、GitHubで公開中。ライセンスは、同庁が定める「公共データ利用規約（第1.0版）」で、利用ルールのもと商用利用もできる。