「オープンな国産モデル」に33Bパラメータの新バージョン 国立情報学研究所
国立情報学研究所(NII)は8月18日、オープンな国産大規模言語モデル(LLM)「LLM-jp-4 33B」シリーズを公開した。モデルの重みは約332億パラメータで、事後学習済みモデルは各種ベンチマークで従来モデルを上回るスコアを記録したという。
公開したのは、事前学習と中間学習まで行ったベースモデル「llm-jp-4-33b-base」と、教師ありファインチューニング(SFT)と直接選好最適化(DPO:AIの出力を人間の好みに合わせる手法)による事後学習まで行った「llm-jp-4-33b-thinking」の2種類。ライセンスは商用利用可能な「Apache 2.0」。
4月に公開した「LLM-jp-4 32B-A3B」はモデルの中に複数の処理役を用意し、入力内容に応じてその一部だけを動かすことで処理効率を高めた「MoE」を採用したが、今回発表したLLM-jp-4 33Bはモデル全体のパラメータを使って推論する「Dense」型となっている。
性能評価には独自フレームワーク「llm-jp-judge」を使用。事後学習済みモデルは、日本語、英語の「MT-Bench」や安全性評価「AnswerCarefully」など4種類のベンチマーク全てで、従来のLLM-jp-4シリーズや米OpenAIの「gpt-oss-20b」を上回った。
「LLM-jp」は、NIIの大規模言語モデル研究開発センターが主宰する研究開発コミュニティー。4月にはLLM-jp-4シリーズとして、LLM-jp-4 32B-A3Bの他に「LLM-jp-4 8B」も公開していた。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
2
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
3
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
4
AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」
-
5
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
-
6
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
7
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
8
ファミマが「AIロボット」本格導入へ 飲料補充に活用、作業時間の約7割を削減
-
9
AnthropicのIPOに応募6倍、OpenAIは調達縮小 AI投資に「選別」の波
-
10
ちまたの“格安GPT”、中身は偽物? 非公式APIのモデル偽装を調査した結果……
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR