ITmedia NEWS > 社会とIT >
ITmedia AI+ AI活用のいまが分かる

楽天グループが大規模言語モデルを公開 Mistralベースの70億パラメータ 商用利用も可能

» 2024年03月21日 16時07分 公開
[松浦立樹ITmedia]

 楽天グループは3月21日、日本語に特化した大規模言語モデル(LLM)「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。

楽天グループが大規模言語モデルを公開

 インストラクションチューニング(ファインチューニングの一種)済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。

 どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、アノテーション機能を駆使し品質を向上させたとしている。他にも、日本語に最適化した「形態素解析器」(文章をトークンという単位に分割するプログラム)を使い、テキスト処理の効率性を上げた点も特徴に挙げている。

言語モデル評価ツール「LM Evaluation Harness」による性能評価の結果

Copyright © ITmedia, Inc. All Rights Reserved.