検索
連載

所有しているのに、手元にないように感じる不思議さ ミニスパコン「NVIDIA DGX Spark」と過ごした1カ月本田雅一のクロスオーバーデジタル(3/5 ページ)

NVIDIAからミニスパコン「NVIDIA DGX Spark Founders Edition」を借りて約1カ月ほど使ってみた。すると、使ってみないと分からないことがいろいろあることに気が付いた。この記事でまとめてみたい。

Share
Tweet
LINE
Hatena

メモリ帯域の“狭さ”をカバーするのは「ソフトウェア」の最適化

 現状において、DGX Sparkの実質的なライバルはM3 Ultraチップ搭載のMac Studioということになる。

 理論的な性能を比べると、行列演算のスループットはNVIDIA GB10に軍配が上がる。一方で、ユニファイドメモリの帯域はM3 Ultraチップの方が広い。

 実測値を淡々と並べると、DGX Spark(NVIDIA GB10)では「gpt-oss(MXFP4)」で生成を行うと、20B(200億)パラメーターのモデルで毎秒49.7トークン、120B(1200億)パラメーターのモデルで毎秒38.5トークンとなる。

 「Llama 3.3 70B(Q4_K_M)」(700億パラメーター)だと毎秒4.4トークン、NVFP4+TensorRT-LLMに切り替えると毎秒5.4トークン。「Qwen3 235B」(2350億パラメーター)を2台分散で走らせると、毎秒11〜12トークンとなる。70Bクラスのモデルで毎秒5トークン程度となると、プロンプトを使った「会話」を成立させるには遅い。

 一方、M3 Ultraチップ搭載のMac Studio M3 UltraをApple独自の「MLX」フレームワークを使って演算させると、「DeepSeek-V3 685B」(6850億パラメーター)は毎秒20トークン以上、「R1 671B」(6710億パラメーター)だとを毎秒17〜18トークンで回す。

 この差が生まれる原因は、NVIDIA GB10の「毎秒273GB」というメモリ帯域の“狭さ”にある。M3チップ(毎秒819GB)の3分の1で、GeForce RTX 5090(毎秒1792GB)と比べるとわずか6分の1だ。

 トランスフォーマーモデルにおける「生成」のプロセスは帯域律速(※1)なので、メモリ帯域の差が、ほぼそのままスループットの差として出てしまうのだ。

(※1)律速:物事の進行や性能を左右するポイント

メモリ帯域幅
DGX Sparkが搭載するNVIDIA GB10のメモリ帯域幅は、毎秒273GBとなる。生成のプロセスを考えると、スループットに不足感がある

 加えて、エンジニアのジョン・カーマック氏は自身のhttps://x.com/ID_AA_Carmack/■□Xアカウント■で「DGX Sparkは公称240Wに対して、実負荷が100W止まりと、理論値の半分しか出ていない」という旨のポストをしている。

 本件に対して、Business Insiderによると、2026年1月に入手したNVIDIAの社内メールでファン氏自身が「すぐ出てきて『直す』と言え」と指示する記述があったという。

 加えて、DGX Sparkを購入した製薬大手のAstraZeneca(アストラゼネカ)の研究者や脳腫瘍研究を行う医師から受けた指摘に対して、数時間で修正パッチが出るということもあった。

 そして「CES 2026」のNVIDIAステージでは、ソフトウェアだけで最大2.6倍の性能向上を果たした旨が発表された。「vLLMのNVFP4対応」「Speculative Decoding/Eagle3/TensorRT-LLMのSM121カーネルへの最適化」の積み上げた結果だ。

 ハードのメモリ帯域は毎秒273GBで固定されているのに、同じ“箱”で発揮できる実効性能が“半年”で別物になったということになる。

高速化
AIモデルの最適化を進めることで、ハードウェアの仕様を変えずに平均35%のパフォーマンス改善を図った(参考記事

 実際にDGX Sparkを触っていて気付いたのだが、評価軸そのものがまだ定まっていないことが、このマシンに対する評価が大きく割れている原因だと思われる。

 カーマック氏もジェフ・ギアリング氏(※2)も、DGX Sparkを“ベンチマークスコア”を使って評価している。一方で、ServeTheHomeのパトリック・ケネディ氏や、Level1Techsのウェンデル氏はDGX Sparkを使って2週間で何を組み上げられたかで採点している。

 ベンチマークだけ見れば平凡に映るDGX Sparkだが、2週間を費やして何を作れたかで評価すると、別の側面が見えてくる――AIを稼働するハードウェアを測る物差しそのものが、まだ揺れていることを象徴する出来事といえる。

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る