Apple Siliconはなぜ「オンデバイスAI」に強いのか？ NVIDIA「RTX Spark」との比較で読み解くシリコン設計の哲学：本田雅一のクロスオーバーデジタル（4/5 ページ）

[本田雅一，ITmedia]

SoCを「デバイス体験」に最適化

　NVIDIAのRTX SparkはWindows PC向けSoCで、位置付けも相まって搭載するPCはM5チップファミリーを搭載するMacと“競合”することになるだろう。

　ただ、NVIDIAのソリューションはスマートフォンやタブレット端末へと連なるものではなく、あくまでもPCで“完結”するものなので、Apple Siliconと単純に比較する意味はあまりないかもしれない。

今回のインタビューは、NVIDIAのジェンスン・フアンCEOが「RTX Spark」を発表した翌日に行われた

　とはいえ「昨日の今日」なので、さすがにこのことをブルックス氏に尋ねないわけにはいかない。同氏は「競合への直接の言及はできない」と応じたが、直接的なコメントがなくとも、AppleとNVIDIAのSoCに対するアプローチの違いは明確だ。

　NVIDAは「AIモデルの研究開発」「クラウド上でのAIサービス提供」を中心に据えてSoCの開発に取り組んできた。それに対してAppleは「最終製品である端末のユーザー体験」のためにSoCの開発を行っている。当たり前かもしれないが、両社の考えるSoCは“コンセプト”が大きく異なる。

　先述の通り、現在のLLMでは「デコード」と「プリフィル」の処理パフォーマンスが全体の快適さを左右する。

　プリフィル処理では、入力されたプロンプト全体を一括して行列演算にかけるため、GPUの行列演算性能が効いてくる。一方のデコード処理では、応答を1トークンずつ生成するため、AIモデルのウェイトをメモリから読み出す必要があるため、演算量は比較的少ない一方で読み出し速度がパフォーマンスに直結する。

　クラウド上のAIサーバでは、小さなリクエストを“束ねる”ことでGPUを効率的に使い切れる。一方でオンデバイスAI、とりわけエージェント型のAIでは対話するようにキビキビとレスポンスを返す「低レイテンシー」が求められる。要するに、サーバと手元デバイスではデコードとプリフィルの“バランス”が異なるのだ。

　NVIDIAのSoCは今後、演算性能とメモリ帯域のバランスを手元デバイスに適した形に改めるかもしれないが、現状のRTX Spark（とGB10）は高いレスポンスを実現するにはメモリ帯域がやや狭い。

　一方、Apple Siliconの場合「スマートフォン（iPhone）」「タブレット（iPad）」「PC（Mac）」など、フォームファクターに合わせてGPUコアの数を変えている。シンプルな使い方から複雑な使い方までスケールするように作られていると考えれば、かなり合理的な実装といえる。