「オープンな国産モデル」に33Bパラメータの新バージョン　国立情報学研究所

　国立情報学研究所（NII）は8月18日、オープンな国産大規模言語モデル（LLM）「LLM-jp-4 33B」シリーズを公開した。モデルの重みは約332億パラメータで、事後学習済みモデルは各種ベンチマークで従来モデルを上回るスコアを記録したという。

　公開したのは、事前学習と中間学習まで行ったベースモデル「llm-jp-4-33b-base」と、教師ありファインチューニング（SFT）と直接選好最適化（DPO：AIの出力を人間の好みに合わせる手法）による事後学習まで行った「llm-jp-4-33b-thinking」の2種類。ライセンスは商用利用可能な「Apache 2.0」。

　4月に公開した「LLM-jp-4 32B-A3B」はモデルの中に複数の処理役を用意し、入力内容に応じてその一部だけを動かすことで処理効率を高めた「MoE」を採用したが、今回発表したLLM-jp-4 33Bはモデル全体のパラメータを使って推論する「Dense」型となっている。

　性能評価には独自フレームワーク「llm-jp-judge」を使用。事後学習済みモデルは、日本語、英語の「MT-Bench」や安全性評価「AnswerCarefully」など4種類のベンチマーク全てで、従来のLLM-jp-4シリーズや米OpenAIの「gpt-oss-20b」を上回った。

ベンチマークの結果（出典：Hugging Faceのモデルカード）

　「LLM-jp」は、NIIの大規模言語モデル研究開発センターが主宰する研究開発コミュニティー。4月にはLLM-jp-4シリーズとして、LLM-jp-4 32B-A3Bの他に「LLM-jp-4 8B」も公開していた。

印刷する

SNSでシェア

関連記事

• 

  なぜ「純国産AIは無理」なのか？　さくらとSakana AIが示す「ソブリンAI」の現実解

• 

  新たな「国産LLM」公開、国立情報学研究所　「gpt-oss-20b」超えの日本語性能うたう

• 

  国産LLM「Sarashina3」登場　高品質データ、独自検証で日本語能力を強化　ソフトバンク傘下

こんなメディアも見られています

ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

エネルギーの専門メディア

スマートジャパン

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン