楽天グループが大規模言語モデルを公開　Mistralベースの70億パラメータ　商用利用も可能

　楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。

　インストラクションチューニング（ファインチューニングの一種）済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。

　どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、アノテーション機能を駆使し品質を向上させたとしている。他にも、日本語に最適化した「形態素解析器」（文章をトークンという単位に分割するプログラム）を使い、テキスト処理の効率性を上げた点も特徴に挙げている。

この記事の著者

関連記事

• 

  楽天とOpenAI、通信業界向けAIツールを共同開発・提供へ

• 

  “楽天の株価”と連動して「楽天ポイント」が増減する「ポイント楽天株」　株式投資を疑似体験

• 

  イーロン・マスク氏のxAI、LLM「Grok-1」をオープンに

• 

  KDDI、東大発AIベンチャー・ELYZAを連結子会社化　春以降、生成AI関連サービスを提供へ

• 

  Google、オープンな生成AIモデル「Gemma」公開　商用利用OK、Geminiと同じ技術の軽量LLM