リコー、GPT-4o級のLLMを構築 「モデルマージ」採用が軸に

リコーがGPT-4oと同等の日本語大規模言語モデルを開発したことを発表した。この新しいモデルは700億パラメーターを誇り、Metaの「Llama-3.3-70B-Instruct」をベースにしている。高性能な自然言語処理能力が確認された。

[後藤大地，有限会社オングス]

　リコーは2025年4月3日、GPT-4oと同等の性能を持つ日本語大規模言語モデル（LLM）を開発したと発表した。Metaが提供する「Llama-3.3-70B-Instruct」をベースに、リコー独自のChat VectorとMetaのInstructモデルから抽出したChat Vectorをモデルマージすることで700億パラメーターの高性能なLLMを実現している。

　近年、生成AIの急速な普及に伴い、企業における高性能なLLM活用への関心が高まっている。一方でLLMの追加学習には高コストと長期間の学習が必要であるという課題があった。このような背景から複数のモデルを効率的に統合する「モデルマージ」が注目されており、リコーはその技術を駆使して今回の成果に至っている。

リコー製LLMの性能は？

　評価には複雑な指示とタスクを含む代表的な日本語ベンチマークである「ELYZA-tasks-100」および、日本語のマルチターンの対話能力を評価する「Japanese MT-Bench」の2つのベンチマークツールを組み合わせて平均スコアを比較した。今回リコーがモデルマージの手法で開発したLLMはGPT-4o（gpt-4o-2024-08-06）と同等レベルの高いスコアを示した。

　リコーは1990年代からAIの研究開発を進めており、2015年には画像認識を活用した深層学習AIの開発および運用、2020年には自然言語処理を活用して業務効率化や顧客対応に生かす「仕事のAI」の提供を開始している。2022年にはLLMの研究と開発に着目し、2023年3月にはリコー独自のLLMを発表している。その後も700億パラメーターの大規模ながらオンプレミスでも導入可能なLLMを開発するなど、さまざまなAI技術の高度化と多様化を推進している。本LLMは高性能でありながら、省コスト・省リソースを実現し、オンプレミス環境で顧客情報の追加学習が可能なプライベートLLMとして企業内での導入を支援する。