LINEは日本語による大規模言語モデル「japanese-large-lm」をオープンソースで公開した。36億パラメータモデルと17億パラメータモデルの2つが公開されている。
この記事は会員限定です。会員登録すると全てご覧いただけます。
LINEは2023年8月14日、日本語による大規模言語モデル(LLM)である「japanese-large-lm」(ジャパニーズラージエルエム)をオープンソースソフトウェア(OSS)として公開した。36億パラメータモデル(以下、3.6Bモデル)と17億パラメータモデル(以下、1.7Bモデル)の2つが公開されている。
「japanese-large-lm」は「Apache License 2.0」で公開されており、企業も利用可能だ。モデルの訓練には約650GBに達するLINEが独自に収集した大規模日本語Webコーパス(自然言語の文書を大量に集めたデータベース)が利用されている。また、1.7Bモデルについては約4000GPU時間を費やしてモデルを構築した。
LINEは1.7Bモデルと3.6Bモデルについて、サイバーエージェントが開発した日本語LLM「OpenCALM-7B」やRinnaが開発した日本語LLM「Rinna-3.6B」と比較し、1.7BモデルはOpenCALM-7Bと同等かそれ以上、3.6BモデルはRinna-3.6Bと同等かそれ以上の性能の達成したと主張している。
「japanese-large-lm」のデータはそれぞれ以下のURLから取得できる。
Transformersのライブラリとしても公開されているため、そちらからも利用できる。
LINEが公開した今回の大規模言語モデルは、実際にどのようなパラメータを使って学習しているかが説明されている点が興味深い。既存の研究成果を踏まえつつ、実施にどういったパラメータを使った場合に学習が成功しているかが簡潔に説明されている。
LINEはこれらのモデルについて、指示文に対して適切な出力が返されるようにチューニングしたモデルを近日中に公開する予定だ。
Copyright © ITmedia, Inc. All Rights Reserved.