リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発 プライベートLLMの開発効率化に貢献
リコーは9月30日、モデルマージ技術によって高性能な日本語大規模言語モデル(LLM)を開発したと発表した。東京工業大学などが開発したLLM「Llama-3-Swallow-70B」をベースにしたAIモデルで、米OpenAIのLLM「GPT-4」と同等の性能を持つとしている。
モデルマージとは、複数の学習済みのLLMモデルを組み合わせて、より性能の高いモデルを作る方法のこと。
リコーは今回、Llama-3-Swallow-70Bをベースにしてモデルマージを実行。Metaの指示学習済みモデルから抽出した「Chat Vector」(AIモデルから抽出した指示追従能力のベクトルのこと)と、リコーが作成したChat Vectorを独自のノウハウでマージさせて、新たなLLMを開発した。
開発したLLMは、日本語性能の評価指標「ELYZA-tasks-100」でGPT-4と同等のスコアを記録。また、比較対象にした他のLLMでは、タスクによって回答を英語でする場合もあったが、リコー製のLLMは全てのタスクに対して日本語で回答し、高い安定性を示したという。
リコーは「AIを実際の業務に適用するには、企業固有の用語や言い回しなどを含む大量のテキストデータをLLMに学習させ、その企業独自のAIモデル(プライベートLLM)を作成する必要がある」と指摘。モデルマージ技術は、プライベートLLMや特定業務向けの高性能LLMの開発の効率化につながるとし、今後も研究開発を進める方針を示した。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
2
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
3
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
4
AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」
-
5
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
-
6
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
7
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
8
ファミマが「AIロボット」本格導入へ 飲料補充に活用、作業時間の約7割を削減
-
9
AnthropicのIPOに応募6倍、OpenAIは調達縮小 AI投資に「選別」の波
-
10
ちまたの“格安GPT”、中身は偽物? 非公式APIのモデル偽装を調査した結果……
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR