NII、130億パラメータのLLM構築　コーパスなども全公開　「今後の研究に資するため」

　国立情報学研究所（NII）は10月20日、パラメータ数130億の大規模言語モデル（LLM）「LLM-jp-13B」を公開した。初期段階のモデルだが、アカデミアや産業界の研究開発に資するため、コーパスやツールなどを含めてすべてオープンにする。

NIIが主宰するLLM勉強会の公式サイトより

　公開したLLMの学習データ量は合計約3000億トークン。うち日本語は約1450億トークン（mC4／Wikipedia）、英語は約1450億トークン（The Pile／Wikipedia）、プログラムコード約100億トークン。

　計算資源としては、大学や研究機関が共同運営する仮想化環境・データ活用社会創成プラットフォーム「mdx」を12ノード活用。モデル構築にはMicrosoftのDeepSpeedを、モデル構築時の監視やログの保存には、モデル開発プラットフォームのWeights＆Biasesを利用した。

　NIIが主宰するLLM勉強会（LLM-jp）で7月から構築してきたLLM。公開したモデルは初期段階のものであり、評価値はこれまで日本で公開されたものと同程度。そのまま実用的なサービスに利用することは想定していないが、今後の研究に貢献するために現段階で公開した。

　今後、モデル学習用コーパスの検索ツールを公開する予定。産総研・東工大とも協力し、GPT-3級・1750億パラメータの日本語LLMの構築を目指す計画も発表している。

印刷する

SNSでシェア

関連記事

• 

  「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明　目指すのは“GPT-3級の日本語LLM”

• 

  PFNが生成AI新会社「Preferred Elements」設立へ　130億パラメータの和製LLMもオープンソースで公開

• 

  約16万件の商品・サービスの口コミデータ、NIIが無償提供　自然言語処理などの研究向けに

• 

  NEC、独自の日本語大規模言語モデルを開発　パラメータ数130億、クラウドで運用可能　性能も世界トップクラス

• 

  サイバーエージェント、日本語の大規模言語モデルを一般公開　最大68億パラメータ　商用利用可能

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

企業ITのトレンドを詳説

エネルギーの専門メディア

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン