新世代のLLM「Mercury Coder」 画像生成AIでおなじみ、拡散モデル採用 コード生成は最大10倍速く

[松浦立樹，ITmedia]

　AI開発企業の米inceptionは2月28日（現地時間）、新型の大規模言語モデル（LLM）「Mercury Coder」を発表した。画像生成AIでよく使われている学習モデル「拡散モデル」を取り入れたLLMで、従来のLLMよりも最大10倍高速で動作するという。同社はこれを「diffusion large language models」（dLLM）と称し「新世代のLLM」と説明している。

新世代のLLM「Mercury Coder」、AI開発企業の米inceptionが発表

　Mercury Coderは、コード生成に特化したdLLM。従来型のLLMのように1トークンずつ生成する仕組みではなく、拡散モデルの“ノイズ除去を繰り返して鮮明化を図る”方法を採用している。これにより現行のLLMよりも5〜10倍高速で、低コストで高品質な出力結果を実現するという。

コード生成でChatGPTやClaudeよりも高速な出力結果を実現

　現在のLLMの多くは、順番に1つのトークンずつ文章を生成する「自己回帰モデル」を採用している。この場合、全てのトークンを一斉に生成することはできず、各トークンを生成するには数十億パラメータに及ぶニューラルネットワークを求められる。このため、膨大な推論タスクを実行する際などは、多大な計算コストと処理時間を必要とする。

　同社はこの課題を解決するため拡散モデルに注目。拡散モデルは、ノイズ除去を繰り返すことで出力結果を鮮明化していく仕組みで、同社は「直前の出力のみを考慮するわけではないため、推論や応答の構造化に優れている」「出力を継続的に改善できるため、ミスやうそを修正できる」などと評価している。拡散モデルはこれまで画像や動画生成AIなどに活用されていたが、文章生成などへ適用できた成功例はなかったという。

　同社のWebサイトでは、GPT-4o MiniやClaude 3.5 Haikuなどとの性能比較結果を公開。他LLMと同等以上の性能を記録しており、特にスピード面では圧倒的な差を見せた。

他LLMとの性能比較

スピード面の比較

　「dLLMの優れた点は、そのスピードだ。スピードを最適化した自己回帰モデルでも、1秒間に最大200トークンしか生成できない。しかし、市販のNVIDIA H100上でMercury Coderを実行すると、1秒間に1000トークン以上のスピードで処理でき、5倍のスピードアップを実現可能としている」（同社）

　Mercury Coder同社のWebサイトにて一般公開中。利用には氏名やメールアドレスを登録する必要がある。