新たな「国産LLM」公開、国立情報学研究所 「gpt-oss-20b」超えの日本語性能うたう
国立情報学研究所(NII)は4月3日、LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開した。米OpenAIのオープンモデル「gpt-oss-20b」を上回る日本語性能をうたう。両モデルの学習に利用したデータセットも公開している。
LLM-jp-4 8Bモデルは約86億パラメータ、LLM-jp-4 32B-A3Bモデルは約320億パラメータを持つ。LLM-jp-4 32B-A3Bモデルでは、複数のサブモデルを組み合わせ、タスクに応じた領域のみを稼働して計算効率を高める「Mixture of Experts」(MoE)を採用した。
LLM-jp-4 8Bは米Metaのオープンモデル「Llama 2」、LLM-jp-4 32B-A3Bは中国Alibabaのオープンモデル「Qwen3」のアーキテクチャを採用。事前学習にはWeb上の公開データや政府・国会の文書などで構成されるデータセットを利用し、フルスクラッチで開発した。約19.5兆トークンのうち約10.5兆トークンを事前学習に使用し、別途中間学習と追加学習も実施した。
日本語の処理性能を測るベンチマーク「日本語MT-Bench」では、gpt-oss-20bに加え、OpenAIのAIモデル「GPT-4o」や、AlibabaのAIモデル「Qwen3-8B」のスコアを上回ったという。英語の性能についても、これら海外企業のAIモデルと同等以上とアピールしている。
NIIは今後、より大規模なパラメータを持つAIモデルの開発と並行し、軽量なAIモデルの開発も進める。これらのAIモデルは2026年度中に順次公開する予定だ。
LLM-jp-4 8BモデルとLLM-jp-4 32B-A3Bモデルの開発は、NIIの大規模言語モデル研究開発センターが主催するLLM研究開発コミュニティー「LLM-jp」の活動の一環として実施した。
【修正履歴:2026年4月4日午前11時30分 各モデルについて「Llama 2/Qwen3をベースに」と記載していましたが、学習対象である重みについてフルスクラッチ開発である旨を明記しました】
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
2
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
3
AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」
-
4
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
-
5
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
6
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
7
ファミマが「AIロボット」本格導入へ 飲料補充に活用、作業時間の約7割を削減
-
8
AIモデルとAIエージェントをつなぐ「APIルーター」に注意? 428件を調べてわかった乗っ取り手口 暗号資産を盗む例も
-
9
ちまたの“格安GPT”、中身は偽物? 非公式APIのモデル偽装を調査した結果……
-
10
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR