新たな「国産LLM」公開、国立情報学研究所 「gpt-oss-20b」超えの日本語性能うたう
国立情報学研究所(NII)は4月3日、LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開した。米OpenAIのオープンモデル「gpt-oss-20b」を上回る日本語性能をうたう。両モデルの学習に利用したデータセットも公開している。
LLM-jp-4 8Bモデルは約86億パラメータ、LLM-jp-4 32B-A3Bモデルは約320億パラメータを持つ。LLM-jp-4 32B-A3Bモデルでは、複数のサブモデルを組み合わせ、タスクに応じた領域のみを稼働して計算効率を高める「Mixture of Experts」(MoE)を採用した。
LLM-jp-4 8Bは米Metaのオープンモデル「Llama 2」、LLM-jp-4 32B-A3Bは中国Alibabaのオープンモデル「Qwen3」のアーキテクチャを採用。事前学習にはWeb上の公開データや政府・国会の文書などで構成されるデータセットを利用し、フルスクラッチで開発した。約19.5兆トークンのうち約10.5兆トークンを事前学習に使用し、別途中間学習と追加学習も実施した。
日本語の処理性能を測るベンチマーク「日本語MT-Bench」では、gpt-oss-20bに加え、OpenAIのAIモデル「GPT-4o」や、AlibabaのAIモデル「Qwen3-8B」のスコアを上回ったという。英語の性能についても、これら海外企業のAIモデルと同等以上とアピールしている。
NIIは今後、より大規模なパラメータを持つAIモデルの開発と並行し、軽量なAIモデルの開発も進める。これらのAIモデルは2026年度中に順次公開する予定だ。
LLM-jp-4 8BモデルとLLM-jp-4 32B-A3Bモデルの開発は、NIIの大規模言語モデル研究開発センターが主催するLLM研究開発コミュニティー「LLM-jp」の活動の一環として実施した。
【修正履歴:2026年4月4日午前11時30分 各モデルについて「Llama 2/Qwen3をベースに」と記載していましたが、学習対象である重みについてフルスクラッチ開発である旨を明記しました】
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
OpenAI、児童性的虐待コンテンツ(CSAM)検出ツールを公開 ChatGPTで探すと24時間アカウント停止の警告も
-
2
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
3
AIに打ち明けた相談は“広告トラッカー”に筒抜け? ChatGPT、Claude、Gemini含む42サービスを米大が調査
-
4
「AI処理、データ非保持が守られず」――Notionが委託先の問題指摘、漏えいの恐れ巡り
-
5
週89時間利用も……「AIキャラチャット」依存の10代たち 「やめたい」と思っても抜け出せないワケ
-
6
人手不足だからAIを使いたい、でも導入できる人がいない 中小企業“一人情シス”の葛藤
-
7
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
8
フリーランス市場、受注者の約8割がAIを利用 自発的に開示は1割弱、両者に意識差 IBMリサーチなど調査
-
9
ジェンスン・フアン氏退任は「NVIDIAバブル崩壊」の序章か? どうなる今後の半導体業界
-
10
MUFG、松尾豊教授ら設立のAIスタートアップと提携 「遍在型AGI」活用へ
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR