Apple Siliconはなぜ「オンデバイスAI」に強いのか？ NVIDIA「RTX Spark」との比較で読み解くシリコン設計の哲学：本田雅一のクロスオーバーデジタル（3/5 ページ）

[本田雅一，ITmedia]

メモリの“帯域”が大きく生きるM5チップファミリー

　ここからが、今回取材で最も掘り下げたかったポイントだ。

　AI処理の視点で意外と重要なのが「メモリ」だ。メモリについて考えるとき、評価軸として「容量」と「帯域」という2つがある。「容量」はデバイス上で動かせるAIモデルの大きさを決める。より多くのメモリを搭載できれば、より大きなモデルをローカルで動かせるという、シンプルな事実を示す指標となる。

　そして「帯域」はAIモデルの実行パフォーマンス、すなわち処理性能を左右する重要なポイントとなる。LLMがトークンを逐次生成する「デコード（Decode）」と呼ばれる処理は、メモリの帯域が広ければ広いほど高速に進む。ブルックス氏も「これ（帯域）はとりわけ、オンデバイスのAI処理にとって重要だ」と話す。

　筆者は以前、NVIDIAのコンパクトスーパーコンピュータ「DGX Spark」を評価したが、「Qwen2.5」でプログラムコードの生成を行った際のスループットは毎秒14トークン程度だった。M4 Maxチップ搭載のMacで同じものを同じ条件で実行すると、約2.4倍の毎秒34トークンとなる。これはDGX Sparkが搭載しているSoC「NVIDIA GB10」のメモリ帯域幅が毎秒273GBなのに対して、M4 Maxチップのメモリ帯域幅は毎秒573GBと、ちょうど2倍あることに起因する差と思われる。

• →所有しているのに、手元にないように感じる不思議さ　ミニスパコン「NVIDIA DGX Spark」と過ごした1カ月

　このことに踏み込むと、ブルックス氏は次のように話した。

　競合のシステムは非常に強力な演算性能を持っているが、処理全体を見渡すとメモリの帯域が不足していることが多い。

　処理全体のバランスを考えて、Apple Siliconではメモリ帯域が不足しないよう慎重に設計を行っている。

NVIDIAの「DGX Spark」のように、コンパクトなボディーでより大きなLLMを動かせるマシンも出てきている。しかし、搭載しているSoC自体の演算能力は高くても、メモリ帯域幅が狭いゆえに性能を引き出しきれないこともある

　この考え方は、最新のM5チップファミリーにも反映されている。GPUコアを最大10基搭載する「M5チップ」から、最大20基搭載の「M5 Proチップ」、そして40基搭載の「M5 Maxチップ」とGPUコアの数が多くなるほど、メモリ帯域幅もそれに合わせて広げられている。

　AIは「繰り返し処理」が多く、何らかの要素が律速する（全体の処理速度を決める）傾向が強い。トークン生成、とりわけデコードではメモリ帯域が大きな律速要素となりうる。デコード処理では、メモリ帯域幅の広いApple Siliconの上位モデルが有利なのだ。

M5 ProチップとM5 Maxチップでは、GPUコアの強化に合わせてメモリの帯域幅を広げている

苦手分野へのケアも行われる

　ただ、従来のApple Siliconには相対的に苦手としてきた処理もある。デコードと対をなす「プリフィル（Prefill）」処理だ。

　プリフィルは、ユーザーが入力した指示文や文脈をまとめて処理し、最初の応答を始めるための準備を行う段階だ。M5チップファミリーと、基本アーキテクチャが共通する「A19 Proチップ」では、プリフィル処理の高速化を行うための“工夫”を、ブルックス氏は紹介した。

　A19 ProチップおよびM5チップファミリーでは、GPUコア内に「Neural Accelerators」という、行列演算を高速化する機能を追加した。これにより、プリフィル処理が1コアあたり最大4倍に高速化した。オンデバイスでの言語モデルの実行速度をバランスさせている。

　要するに、プリフィル処理を担うGPUコアに追加の演算器を投入したということだ。処理性能はGPUコア数が多いほど高速になるので、上位のチップほど改善効果は大きくなる。

　筆者が過去にテストした結果では、「M4 Maxチップ」のプリフィル処理性能はDGX Spark（NVIDIA GB10）の4分の1以下だったのに対し、「M5 Maxチップ」ではDGX Sparkとおおむね同等か、上回る性能になった。

　現代的なAI機能の基礎となる言語処理において、メモリ帯域の最大化によってデコードを、Neural Acceleratorsの搭載によってプリフィルを高速化し、AI時代に求められる性能へと最適化している。

M5チップファミリー（とA19 Proチップ）では、GPUコアにNeural Acceleratorsを追加することで、デコード処理とプリフィル処理の「アンバランスさ」が解消された