楽天グループが大規模言語モデルを公開 Mistralベースの70億パラメータ 商用利用も可能
楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。
楽天グループが大規模言語モデルを公開
インストラクションチューニング（ファインチューニングの一種）済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。
どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、アノテーション機能を駆使し品質を向上させたとしている。他にも、日本語に最適化した「形態素解析器」（文章をトークンという単位に分割するプログラム）を使い、テキスト処理の効率性を上げた点も特徴に挙げている。
言語モデル評価ツール「LM Evaluation Harness」による性能評価の結果
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
GMO、ランサム被害にあった顧客に新しいPC提供へ 犯行グループは1人の顧客情報公開か
-
2
NECのルータ「Aterm」、PHP脆弱性の影響なし 設定画面URLの「.php」は無関係
-
3
GMO、不正アクセス実行犯の手がかりに懸賞金 1億5000万円規模
-
4
auメールで朝から障害 全国で利用しづらい状況に
-
5
「楽天トラベル」に不正アクセス 顧客情報最大約260万件など流出か 予約者約3.6万件のクレカ情報も
-
6
Apple、M6搭載の14インチ「MacBook Pro」発表 AI性能向上、33万9800円から
-
7
GMO、攻撃者の公開情報に「アクセスは絶対に控えて」 悪質な拡散者には法的措置を準備
-
8
IPO目論見書に「AIは人類の存亡リスク」「コードの9割はClaude製」 Anthropicが示した規格外の見立て
-
9
メアドを検索→AIで“その人専用フィッシングメール”を生成する手法、クリック率が約2.7倍に 7000人以上で実験
-
10
So-net、会員情報約259万件が漏えい 一部メールサービスではパスワードも流出
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR