新世代のLLM「Mercury Coder」 画像生成AIでおなじみ、拡散モデル採用 コード生成は最大10倍速く
AI開発企業の米inceptionは2月28日(現地時間)、新型の大規模言語モデル(LLM)「Mercury Coder」を発表した。画像生成AIでよく使われている学習モデル「拡散モデル」を取り入れたLLMで、従来のLLMよりも最大10倍高速で動作するという。同社はこれを「diffusion large language models」(dLLM)と称し「新世代のLLM」と説明している。
Mercury Coderは、コード生成に特化したdLLM。従来型のLLMのように1トークンずつ生成する仕組みではなく、拡散モデルの“ノイズ除去を繰り返して鮮明化を図る”方法を採用している。これにより現行のLLMよりも5~10倍高速で、低コストで高品質な出力結果を実現するという。
現在のLLMの多くは、順番に1つのトークンずつ文章を生成する「自己回帰モデル」を採用している。この場合、全てのトークンを一斉に生成することはできず、各トークンを生成するには数十億パラメータに及ぶニューラルネットワークを求められる。このため、膨大な推論タスクを実行する際などは、多大な計算コストと処理時間を必要とする。
同社はこの課題を解決するため拡散モデルに注目。拡散モデルは、ノイズ除去を繰り返すことで出力結果を鮮明化していく仕組みで、同社は「直前の出力のみを考慮するわけではないため、推論や応答の構造化に優れている」「出力を継続的に改善できるため、ミスやうそを修正できる」などと評価している。拡散モデルはこれまで画像や動画生成AIなどに活用されていたが、文章生成などへ適用できた成功例はなかったという。
同社のWebサイトでは、GPT-4o MiniやClaude 3.5 Haikuなどとの性能比較結果を公開。他LLMと同等以上の性能を記録しており、特にスピード面では圧倒的な差を見せた。
「dLLMの優れた点は、そのスピードだ。スピードを最適化した自己回帰モデルでも、1秒間に最大200トークンしか生成できない。しかし、市販のNVIDIA H100上でMercury Coderを実行すると、1秒間に1000トークン以上のスピードで処理でき、5倍のスピードアップを実現可能としている」(同社)
Mercury Coder同社のWebサイトにて一般公開中。利用には氏名やメールアドレスを登録する必要がある。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
なぜ中国はヒューマノイドを量産するのか 突き動かす「焦り」と足踏みの正体
-
2
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
3
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
4
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
5
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
6
伊藤忠が月1.3万時間削減、数千件の「二重業務」解消へ AI推進で経営陣を動かした「定量の匂い」とは?
-
7
「e-F@ctory」から次の進化へ、三菱電機が描くAI主体の自律型工場
-
8
コマツ油機開発センタが挑む設計プロセス改革、ナレッジ検索/整備に生成AI活用
-
9
日立が「フィジカルAI」で狙う“5年で事業規模2倍”の勝算 3.5万人の新会社トップが語る「戦略の2本柱」とは?
-
10
さよなら「Claude Code」 人気AIに愛想を尽かしたエンジニアの意外な移行先:906th Lap
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR