LINEが日本語LLMをオープンソースで提供 36億パラメータを保有

LINEは日本語による大規模言語モデル「japanese-large-lm」をオープンソースで公開した。36億パラメータモデルと17億パラメータモデルの2つが公開されている。

» 2023年08月16日 08時00分 公開
[後藤大地有限会社オングス]

この記事は会員限定です。会員登録すると全てご覧いただけます。

 LINEは2023年8月14日、日本語による大規模言語モデル(LLM)である「japanese-large-lm」(ジャパニーズラージエルエム)をオープンソースソフトウェア(OSS)として公開した。36億パラメータモデル(以下、3.6Bモデル)と17億パラメータモデル(以下、1.7Bモデル)の2つが公開されている。

36億パラメータの日本語言語モデルを公開しました(出典:LINEのWebサイト)

LINEが日本語LLMをオープンソースで提供 他モデルとの性能差は?

 「japanese-large-lm」は「Apache License 2.0」で公開されており、企業も利用可能だ。モデルの訓練には約650GBに達するLINEが独自に収集した大規模日本語Webコーパス(自然言語の文書を大量に集めたデータベース)が利用されている。また、1.7Bモデルについては約4000GPU時間を費やしてモデルを構築した。

 LINEは1.7Bモデルと3.6Bモデルについて、サイバーエージェントが開発した日本語LLM「OpenCALM-7B」やRinnaが開発した日本語LLM「Rinna-3.6B」と比較し、1.7BモデルはOpenCALM-7Bと同等かそれ以上、3.6BモデルはRinna-3.6Bと同等かそれ以上の性能の達成したと主張している。

 「japanese-large-lm」のデータはそれぞれ以下のURLから取得できる。

 Transformersのライブラリとしても公開されているため、そちらからも利用できる。

 LINEが公開した今回の大規模言語モデルは、実際にどのようなパラメータを使って学習しているかが説明されている点が興味深い。既存の研究成果を踏まえつつ、実施にどういったパラメータを使った場合に学習が成功しているかが簡潔に説明されている。

 LINEはこれらのモデルについて、指示文に対して適切な出力が返されるようにチューニングしたモデルを近日中に公開する予定だ。

Copyright © ITmedia, Inc. All Rights Reserved.