リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発 プライベートLLMの開発効率化に貢献
リコーは9月30日、モデルマージ技術によって高性能な日本語大規模言語モデル（LLM）を開発したと発表した。東京工業大学などが開発したLLM「Llama-3-Swallow-70B」をベースにしたAIモデルで、米OpenAIのLLM「GPT-4」と同等の性能を持つとしている。
リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発
モデルマージとは、複数の学習済みのLLMモデルを組み合わせて、より性能の高いモデルを作る方法のこと。
リコーは今回、Llama-3-Swallow-70Bをベースにしてモデルマージを実行。Metaの指示学習済みモデルから抽出した「Chat Vector」（AIモデルから抽出した指示追従能力のベクトルのこと）と、リコーが作成したChat Vectorを独自のノウハウでマージさせて、新たなLLMを開発した。
開発したLLMは、日本語性能の評価指標「ELYZA-tasks-100」でGPT-4と同等のスコアを記録。また、比較対象にした他のLLMでは、タスクによって回答を英語でする場合もあったが、リコー製のLLMは全てのタスクに対して日本語で回答し、高い安定性を示したという。
ELYZA-tasks-100のスコア
リコーは「AIを実際の業務に適用するには、企業固有の用語や言い回しなどを含む大量のテキストデータをLLMに学習させ、その企業独自のAIモデル（プライベートLLM）を作成する必要がある」と指摘。モデルマージ技術は、プライベートLLMや特定業務向けの高性能LLMの開発の効率化につながるとし、今後も研究開発を進める方針を示した。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
総額2.3兆円、千葉市に巨大な「AIデータセンター」建設へ 発電大手JERA参画の“ドリームチーム”、勝機どうつかむ？
-
2
国産AI開発「ラストチャンス」の局面へ ノエトラが「44社が出資・国が最大1兆円支援」の追い風を背に向かう先
-
3
個人向けGeminiのモデル選択が厳格化 無料ユーザーが使えるのは「Flash-Lite」のみに
-
4
AIを使ったCOBOLのJava変換、「百害あって一利なし」 AI活用の“落とし穴”を考察
-
5
「OpenAIの文化は壊れている」──安全性報告書を統括した従業員が退社し、寄稿
-
6
Codex「毎日改善、できない日はフルリセット」宣言 今後28日間
-
7
「DMに逃げる理由は秘密保持ではない」 人とAIエージェントの“最強チーム”を作るベストプラクティス
-
8
「FDE」は常駐SEのすげ替えなのか “人月商売の死”を打破したい国内SIer、打開策は意外なところに？
-
9
生産能力2倍へ、リコー厚木新棟はペロブスカイト太陽電池など事業拡大の布石に
-
10
Anthropicの新指標 AIの影響を受けにくい「3割の人々」の共通点は？
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR