ここからが、今回取材で最も掘り下げたかったポイントだ。
AI処理の視点で意外と重要なのが「メモリ」だ。メモリについて考えるとき、評価軸として「容量」と「帯域」という2つがある。「容量」はデバイス上で動かせるAIモデルの大きさを決める。より多くのメモリを搭載できれば、より大きなモデルをローカルで動かせるという、シンプルな事実を示す指標となる。
そして「帯域」はAIモデルの実行パフォーマンス、すなわち処理性能を左右する重要なポイントとなる。LLMがトークンを逐次生成する「デコード(Decode)」と呼ばれる処理は、メモリの帯域が広ければ広いほど高速に進む。ブルックス氏も「これ(帯域)はとりわけ、オンデバイスのAI処理にとって重要だ」と話す。
筆者は以前、NVIDIAのコンパクトスーパーコンピュータ「DGX Spark」を評価したが、「Qwen2.5」でプログラムコードの生成を行った際のスループットは毎秒14トークン程度だった。M4 Maxチップ搭載のMacで同じものを同じ条件で実行すると、約2.4倍の毎秒34トークンとなる。これはDGX Sparkが搭載しているSoC「NVIDIA GB10」のメモリ帯域幅が毎秒273GBなのに対して、M4 Maxチップのメモリ帯域幅は毎秒573GBと、ちょうど2倍あることに起因する差と思われる。
このことに踏み込むと、ブルックス氏は次のように話した。
競合のシステムは非常に強力な演算性能を持っているが、処理全体を見渡すとメモリの帯域が不足していることが多い。
処理全体のバランスを考えて、Apple Siliconではメモリ帯域が不足しないよう慎重に設計を行っている。
NVIDIAの「DGX Spark」のように、コンパクトなボディーでより大きなLLMを動かせるマシンも出てきている。しかし、搭載しているSoC自体の演算能力は高くても、メモリ帯域幅が狭いゆえに性能を引き出しきれないこともあるこの考え方は、最新のM5チップファミリーにも反映されている。GPUコアを最大10基搭載する「M5チップ」から、最大20基搭載の「M5 Proチップ」、そして40基搭載の「M5 Maxチップ」とGPUコアの数が多くなるほど、メモリ帯域幅もそれに合わせて広げられている。
AIは「繰り返し処理」が多く、何らかの要素が律速する(全体の処理速度を決める)傾向が強い。トークン生成、とりわけデコードではメモリ帯域が大きな律速要素となりうる。デコード処理では、メモリ帯域幅の広いApple Siliconの上位モデルが有利なのだ。
ただ、従来のApple Siliconには相対的に苦手としてきた処理もある。デコードと対をなす「プリフィル(Prefill)」処理だ。
プリフィルは、ユーザーが入力した指示文や文脈をまとめて処理し、最初の応答を始めるための準備を行う段階だ。M5チップファミリーと、基本アーキテクチャが共通する「A19 Proチップ」では、プリフィル処理の高速化を行うための“工夫”を、ブルックス氏は紹介した。
A19 ProチップおよびM5チップファミリーでは、GPUコア内に「Neural Accelerators」という、行列演算を高速化する機能を追加した。これにより、プリフィル処理が1コアあたり最大4倍に高速化した。オンデバイスでの言語モデルの実行速度をバランスさせている。
要するに、プリフィル処理を担うGPUコアに追加の演算器を投入したということだ。処理性能はGPUコア数が多いほど高速になるので、上位のチップほど改善効果は大きくなる。
筆者が過去にテストした結果では、「M4 Maxチップ」のプリフィル処理性能はDGX Spark(NVIDIA GB10)の4分の1以下だったのに対し、「M5 Maxチップ」ではDGX Sparkとおおむね同等か、上回る性能になった。
現代的なAI機能の基礎となる言語処理において、メモリ帯域の最大化によってデコードを、Neural Acceleratorsの搭載によってプリフィルを高速化し、AI時代に求められる性能へと最適化している。
NVIDIAが新型プロセッサ「RTX Spark」でWindows PCに“再挑戦” 搭載PCは2026年秋に登場
なぜAppleは「半導体」と「製品」のトップを統合したのか クック退任より重要な「CHO新設」と究極の垂直統合
突然の「スーパーコア」誕生と消えたEコア――Apple M5 Pro/Maxが断行した「CPU大再編」を読み解く
M5 Max搭載「14インチMacBook Pro」がワークステーションを過去にする 80万円超の“最強”モバイル AI PCを試す
コンパクトボディーにスパコン並みのAI性能! 「NVIDIA RTX Spark」搭載ミニデスクトップPCを見てきたCopyright © ITmedia, Inc. All Rights Reserved.