楽天が日本語特化の言語生成AIを発表 LLMだけでなくSLMも

楽天が日本語特化の新AIモデルを発表した。LLMの他、SLMも用意しており、近くOSSとしてコミュニティに公開する予定だ。

[後藤大地，有限会社オングス]

　楽天グループは2024年12月18日、日本語に最適化した新たなAIモデル「Rakuten AI 2.0」および「Rakuten AI 2.0 mini」を発表した。

　「Rakuten AI 2.0」はMoEアーキテクチャーを採用した8x7B構成で、日本語性能を従来モデルより大幅に向上させた。「Rakuten AI 2.0 mini」はコンパクトな15億パラメーターのSLMでプライバシー保護やコスト効率が求められる用途に最適とされる。これらのモデルは来春にオープンソースコミュニティーに公開予定であり、AIアプリケーション開発の効率化と日本語LLMの発展に寄与することを目指している。

各LLMモデルの日本語と英語の能力評価（出典：Rakuten Groupの発表資料）

日本語に特化した小規模言語モデル（SLM）の性能は？

　「Rakuten AI 2.0」は日本語特化の基盤モデル「Rakuten AI 7B」（2024年3月公開）を基に開発した8x7BのMoE（混合専門家）モデルだ。8つの70億パラメーターで構築した「エキスパート」と呼ばれるサブモデルで構成されており、入力されたトークンはルーターによって選定された最も適した2つの「エキスパート」に処理される仕組みとなっている。

　「Rakuten AI 2.0 mini」は楽天初の小規模言語モデル（SLM）だ。15億パラメーターで構築された本モデルは独自手法で整理、最適化されたデータセット学習されており、テキスト生成において高性能かつ高精度な処理を実現している。

　楽天がLLMを評価するツール「LM-Harness」で調査したところ「Rakuten AI 2.0」の日本語性能は、従来モデル「Rakuten AI 7B」と比較して8つのタスクで62.93から72.29に向上した。また「Rakuten AI 2.0 mini」に関しては汎用（はんよう）アプリケーションに使用される大規模モデルと比べ、プライバシーの保護、低遅延、コスト効率が求められる特定のアプリケーションに適した形で活用できるとしている。

　楽天はこれらのAIモデルを活用して「楽天エコシステム（経済圏）」の拡大を目指すとともにオープンソースコミュニティーへの貢献を通じて日本語LLMのさらなる発展を促進する。さらにAI化を意味する「AI-nization（エーアイナイゼーション）」を推進し、最先端の技術と豊富なデータを活用して新たな価値の創出に取り組むとしている。