LINEが日本語LLMをオープンソースで提供 36億パラメータを保有

LINEは日本語による大規模言語モデル「japanese-large-lm」をオープンソースで公開した。36億パラメータモデルと17億パラメータモデルの2つが公開されている。

[後藤大地，有限会社オングス]

　LINEは2023年8月14日、日本語による大規模言語モデル（LLM）である「japanese-large-lm」（ジャパニーズラージエルエム）をオープンソースソフトウェア（OSS）として公開した。36億パラメータモデル（以下、3.6Bモデル）と17億パラメータモデル（以下、1.7Bモデル）の2つが公開されている。

36億パラメータの日本語言語モデルを公開しました（出典：LINEのWebサイト）

LINEが日本語LLMをオープンソースで提供　他モデルとの性能差は？

　「japanese-large-lm」は「Apache License 2.0」で公開されており、企業も利用可能だ。モデルの訓練には約650GBに達するLINEが独自に収集した大規模日本語Webコーパス（自然言語の文書を大量に集めたデータベース）が利用されている。また、1.7Bモデルについては約4000GPU時間を費やしてモデルを構築した。

　LINEは1.7Bモデルと3.6Bモデルについて、サイバーエージェントが開発した日本語LLM「OpenCALM-7B」やRinnaが開発した日本語LLM「Rinna-3.6B」と比較し、1.7BモデルはOpenCALM-7Bと同等かそれ以上、3.6BモデルはRinna-3.6Bと同等かそれ以上の性能の達成したと主張している。

　「japanese-large-lm」のデータはそれぞれ以下のURLから取得できる。

• line-corporation/japanese-large-lm-1.7b - Hugging Face
• line-corporation/japanese-large-lm-3.6b - Hugging Face

　Transformersのライブラリとしても公開されているため、そちらからも利用できる。

　LINEが公開した今回の大規模言語モデルは、実際にどのようなパラメータを使って学習しているかが説明されている点が興味深い。既存の研究成果を踏まえつつ、実施にどういったパラメータを使った場合に学習が成功しているかが簡潔に説明されている。

　LINEはこれらのモデルについて、指示文に対して適切な出力が返されるようにチューニングしたモデルを近日中に公開する予定だ。