リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発 プライベートLLMの開発効率化に貢献
リコーは9月30日、モデルマージ技術によって高性能な日本語大規模言語モデル（LLM）を開発したと発表した。東京工業大学などが開発したLLM「Llama-3-Swallow-70B」をベースにしたAIモデルで、米OpenAIのLLM「GPT-4」と同等の性能を持つとしている。
リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発
モデルマージとは、複数の学習済みのLLMモデルを組み合わせて、より性能の高いモデルを作る方法のこと。
リコーは今回、Llama-3-Swallow-70Bをベースにしてモデルマージを実行。Metaの指示学習済みモデルから抽出した「Chat Vector」（AIモデルから抽出した指示追従能力のベクトルのこと）と、リコーが作成したChat Vectorを独自のノウハウでマージさせて、新たなLLMを開発した。
開発したLLMは、日本語性能の評価指標「ELYZA-tasks-100」でGPT-4と同等のスコアを記録。また、比較対象にした他のLLMでは、タスクによって回答を英語でする場合もあったが、リコー製のLLMは全てのタスクに対して日本語で回答し、高い安定性を示したという。
ELYZA-tasks-100のスコア
リコーは「AIを実際の業務に適用するには、企業固有の用語や言い回しなどを含む大量のテキストデータをLLMに学習させ、その企業独自のAIモデル（プライベートLLM）を作成する必要がある」と指摘。モデルマージ技術は、プライベートLLMや特定業務向けの高性能LLMの開発の効率化につながるとし、今後も研究開発を進める方針を示した。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
エイベックス松浦会長、noteの“バズり記事”を「ほぼAI」で作成 「僕の60年分のデータを入れた」
-
2
Slack、AIとチームで協働する「Slack Code」を発表 ClaudeやDevinを専用チャネルで操作
-
3
「たった14人」の挑戦から7兆円の逆転劇へ ラピダス小池社長の「TSMCとは戦わない」2ナノ半導体の勝算
-
4
「孫さんはOpenAIだが、僕はAnthropic」 SBI北尾会長が語る「AI投資5億円→増収27億円」の勝算
-
5
GoogleはAI競争に負けたのか 「最強のAI」ではなく「AIの“電力網”」を選ぶ賭け
-
6
「Fable禁止」で仕事が止まったあの日々を振り返る 日本企業が取るべき「脱・単一モデル」戦略
-
7
「チャピる」「ギュられる」って何？ 今年流行った「就活用語」にAI関連ワード マイナビ調査
-
8
「Gemini Notebook」で利用者10倍 シニア社員をAIヘビーユーザーにした首都高の考え
-
9
「AIで生産性向上」日本の従業員は57％、世界平均は81％ 仕事の満足度でも大差──アクセンチュア調査
-
10
Waymoが自動運転AI戦略を解説、「単一AIモデルのE2E方式には2つの問題がある」
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR