英Stability AIの日本法人であるStability AI Japan(東京都渋谷区)は8月10日、日本語特化の大規模言語モデル(LLM)「Japanese StableLM Base Alpha 7B」を公開した。パラメータ数は70億。ライセンスはApache License 2.0で、商用利用可能だ。
LLMの性能評価ツール「lm-evaluation-harness」で調べたところ、サイバーエージェントやrinnaが公開している日本語LLMよりも高スコアを記録した。学習には、LLM学習のためのライブラリ「GPT-NeoX」をアレンジしたものなどを利用しており、学習したトークンは延べ7500億に及ぶ。
また、このモデルに追加学習を行い、ユーザーの指示に受け答えできるようにしたモデル「Japanese StableLM Instruct Alpha 7B」も併せて公開。このモデルでは「西郷隆盛はどんな人物ですか?」などの質問に受け答えできる。性能評価はBaseモデルよりもさらに高いが、商用利用はできず、用途は研究目的での利用に限定している。
どちらのモデルもHugging Faceからダウンロードできる。
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR