リコー、低コスト・高速うたう新LLM 日英中対応で今秋提供
リコーは8月21日、日英中3言語に対応した、700億パラメータの大規模言語モデル（LLM）を開発したと発表した。米Metaが提供するLLM「Meta-Llama-3-70B」の日本語性能を高めた「Llama-3-Swallow-70B」をベースに、独自データによる追加学習などを実施。これにより、ベースモデルに比べ日本語の処理効率を43％向上させ、コスト効率や処理速度を高めたという。
リコーのロゴ
今回のLLMは、米Amazon Web Servicesと共同で開発したスクリプトで訓練した他、独自データ約1万6000件による追加学習を実施。テキストをLLMが理解できるよう分割する「トークナイザー」の改良により、日本語の処理効率を向上させた他、さらなる追加学習による「破滅的忘却」（追加学習の際に過去に学習したタスクを忘れる現象）も抑制したという。これにより、企業独自の「プライベートLLM」のベースとしても利用しやすいとうたっている。
複雑な指示・タスク処理の能力を評価する日本語のベンチマーク「ELYZA-tasks-100」では、回答速度で「Meta-Llama-3-70B-Instruct」「Llama-3-Swallow-70B-Instruct-v0.1」などのLLMを上回った。他のLLMのように、英語で回答してしまうこともなかったという。
ベンチマークにおける比較結果
今回開発したLLMは、オンプレミス・クラウド双方の環境で利用できる形で、2024年秋に提供を始める。プライベートLLMとしての活用も視野に、まずは日本で提供し、その後海外への提供も目指す。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
Anthropic、「Claude Opus 5」公開 Fable 5に迫る性能を半額で――サイバー安全策は緩和、拒否時は自動フォールバックも
-
2
「iPhone高騰」はこれからも続く？ 中国CXMTに近づくApple、メモリ競合へのけん制が不発に終わりそうなワケ【後編】
-
3
ゼロから分かる「Claude」の教科書 ChatGPTと比べて分かった強みとは？
-
4
スーパーに並んだ「ごちゃごちゃ生成AIポップ」が物議 “看板王”こと、きぬた歯科院長「これはアリ」
-
5
MicrosoftやNVIDIAなど、AIのオープンウェイト規制に反対する書簡を公開――Anthropicは署名せず
-
6
Markdownファイルが、AI時代の負債に？ Googleが提案する「ナレッジ標準化」の一手
-
7
NVIDIA、Microsoft、OpenAIなどがオープンモデル規制反対を表明 Anthropic従業員は「CUDAのオープンソース化が楽しみ」と皮肉
-
8
「2日かかる攻撃が25分に」生成AIで“爆速化”するサイバー攻撃、パロアルトの識者が警鐘
-
9
AIが破壊するIT業界の“人月商売” 「SIerの死」後に“生き残る者”の正体
-
10
法人被害45億円、元警視庁が解説「会話もできるAI詐欺」の手口と対策
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR