新たな「国産LLM」公開、国立情報学研究所　「gpt-oss-20b」超えの日本語性能うたう

公開 2026年04月03日 18時49分

更新 2026年04月04日 11時54分

[ITmedia]

印刷する

　国立情報学研究所（NII）は4月3日、LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開した。米OpenAIのオープンモデル「gpt-oss-20b」を上回る日本語性能をうたう。両モデルの学習に利用したデータセットも公開している。

ベンチマークの結果（出典：プレスリリース）

　LLM-jp-4 8Bモデルは約86億パラメータ、LLM-jp-4 32B-A3Bモデルは約320億パラメータを持つ。LLM-jp-4 32B-A3Bモデルでは、複数のサブモデルを組み合わせ、タスクに応じた領域のみを稼働して計算効率を高める「Mixture of Experts」（MoE）を採用した。

　LLM-jp-4 8Bは米Metaのオープンモデル「Llama 2」、LLM-jp-4 32B-A3Bは中国Alibabaのオープンモデル「Qwen3」のアーキテクチャを採用。事前学習にはWeb上の公開データや政府・国会の文書などで構成されるデータセットを利用し、フルスクラッチで開発した。約19.5兆トークンのうち約10.5兆トークンを事前学習に使用し、別途中間学習と追加学習も実施した。

　日本語の処理性能を測るベンチマーク「日本語MT-Bench」では、gpt-oss-20bに加え、OpenAIのAIモデル「GPT-4o」や、AlibabaのAIモデル「Qwen3-8B」のスコアを上回ったという。英語の性能についても、これら海外企業のAIモデルと同等以上とアピールしている。

　NIIは今後、より大規模なパラメータを持つAIモデルの開発と並行し、軽量なAIモデルの開発も進める。これらのAIモデルは2026年度中に順次公開する予定だ。

　LLM-jp-4 8BモデルとLLM-jp-4 32B-A3Bモデルの開発は、NIIの大規模言語モデル研究開発センターが主催するLLM研究開発コミュニティー「LLM-jp」の活動の一環として実施した。

【修正履歴：2026年4月4日午前11時30分　各モデルについて「Llama 2/Qwen3をベースに」と記載していましたが、学習対象である重みについてフルスクラッチ開発である旨を明記しました】

印刷する