リコー、低コスト・高速うたう新LLM 日英中対応で今秋提供

リコーは日英中3言語に対応した700億パラメータの大規模言語モデル（LLM）を開発したと発表した。

[ITmedia]

　リコーは8月21日、日英中3言語に対応した、700億パラメータの大規模言語モデル（LLM）を開発したと発表した。米Metaが提供するLLM「Meta-Llama-3-70B」の日本語性能を高めた「Llama-3-Swallow-70B」をベースに、独自データによる追加学習などを実施。これにより、ベースモデルに比べ日本語の処理効率を43％向上させ、コスト効率や処理速度を高めたという。

リコーのロゴ

　今回のLLMは、米Amazon Web Servicesと共同で開発したスクリプトで訓練した他、独自データ約1万6000件による追加学習を実施。テキストをLLMが理解できるよう分割する「トークナイザー」の改良により、日本語の処理効率を向上させた他、さらなる追加学習による「破滅的忘却」（追加学習の際に過去に学習したタスクを忘れる現象）も抑制したという。これにより、企業独自の「プライベートLLM」のベースとしても利用しやすいとうたっている。

　複雑な指示・タスク処理の能力を評価する日本語のベンチマーク「ELYZA-tasks-100」では、回答速度で「Meta-Llama-3-70B-Instruct」「Llama-3-Swallow-70B-Instruct-v0.1」などのLLMを上回った。他のLLMのように、英語で回答してしまうこともなかったという。

ベンチマークにおける比較結果

　今回開発したLLMは、オンプレミス・クラウド双方の環境で利用できる形で、2024年秋に提供を始める。プライベートLLMとしての活用も視野に、まずは日本で提供し、その後海外への提供も目指す。