LINEが日本語LLMをオープンソースで提供 36億パラメータを保有
LINEは日本語による大規模言語モデル「japanese-large-lm」をオープンソースで公開した。36億パラメータモデルと17億パラメータモデルの2つが公開されている。
LINEは2023年8月14日、日本語による大規模言語モデル(LLM)である「japanese-large-lm」(ジャパニーズラージエルエム)をオープンソースソフトウェア(OSS)として公開した。36億パラメータモデル(以下、3.6Bモデル)と17億パラメータモデル(以下、1.7Bモデル)の2つが公開されている。
LINEが日本語LLMをオープンソースで提供 他モデルとの性能差は?
「japanese-large-lm」は「Apache License 2.0」で公開されており、企業も利用可能だ。モデルの訓練には約650GBに達するLINEが独自に収集した大規模日本語Webコーパス(自然言語の文書を大量に集めたデータベース)が利用されている。また、1.7Bモデルについては約4000GPU時間を費やしてモデルを構築した。
LINEは1.7Bモデルと3.6Bモデルについて、サイバーエージェントが開発した日本語LLM「OpenCALM-7B」やRinnaが開発した日本語LLM「Rinna-3.6B」と比較し、1.7BモデルはOpenCALM-7Bと同等かそれ以上、3.6BモデルはRinna-3.6Bと同等かそれ以上の性能の達成したと主張している。
「japanese-large-lm」のデータはそれぞれ以下のURLから取得できる。
Transformersのライブラリとしても公開されているため、そちらからも利用できる。
LINEが公開した今回の大規模言語モデルは、実際にどのようなパラメータを使って学習しているかが説明されている点が興味深い。既存の研究成果を踏まえつつ、実施にどういったパラメータを使った場合に学習が成功しているかが簡潔に説明されている。
LINEはこれらのモデルについて、指示文に対して適切な出力が返されるようにチューニングしたモデルを近日中に公開する予定だ。
関連記事
- 「あらゆるタスクを自律的にこなすAIエージェント」発表 AI inside
ローコードを超えて自然言語で業務指示が可能なAIエージェントが登場した。学習済み汎用AIモデルの組み合わせでシステムを横断する複雑な問い合わせにも対応する。 - サイバーエージェント、最大68億パラメータの日本語による大規模言語モデルを公開
サイバーエージェントは、最大68億パラメータの日本語による大規模言語モデル(LLM)を一般公開した。既存LLMの多くは英語を中心に学習されているため、日本語や日本文化に強いLLMは少ない状況を打破する狙いがある。 - ビジネス向け生成AI開発最前線、日本IBMが仕掛けるアプローチ
「ChatGPT」の登場で急速に進む生成AIブーム。企業が自社のビジネスに特化した生成AIを開発するためにはどうすればいいのか。AI開発の歴史を振り返りつつ最適なアプローチを日本IBMが推奨した。 - タイピング音から95%の精度で入力キーを推測 英国研究チームがAIモデル開発
キーボード入力の音から95%の精度で入力したキーを判別できるディープラーニングモデルが開発された。サイバー攻撃に悪用された場合、ZoomなどのWebミーティングにおいてデータが窃取される可能性がある。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.