楽天グループは3月21日、日本語に特化した大規模言語モデル(LLM)「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。
インストラクションチューニング(ファインチューニングの一種)済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。
どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、アノテーション機能を駆使し品質を向上させたとしている。他にも、日本語に最適化した「形態素解析器」(文章をトークンという単位に分割するプログラム)を使い、テキスト処理の効率性を上げた点も特徴に挙げている。
楽天とOpenAI、通信業界向けAIツールを共同開発・提供へ
“楽天の株価”と連動して「楽天ポイント」が増減する「ポイント楽天株」 株式投資を疑似体験
イーロン・マスク氏のxAI、LLM「Grok-1」をオープンに
KDDI、東大発AIベンチャー・ELYZAを連結子会社化 春以降、生成AI関連サービスを提供へ
Google、オープンな生成AIモデル「Gemma」公開 商用利用OK、Geminiと同じ技術の軽量LLMCopyright © ITmedia, Inc. All Rights Reserved.
Special
PR