ローカルLLMをNPU単体で動かせる「Lemonade Server」をRyzen AI 9 HX 470搭載の「Minisforum AI X1 Pro-470」で試してみた（3/3 ページ）

[Sotaro NAGAO，ITmedia]

ローカルLLMの推論をNPUで回すという選択肢

　ここからが本レビューのハイライトとなる。これまでRyzen AIプロセッサ搭載機でローカルLLMを運用する際は、「LM Studio」などのツールを用いてモデルを実行するのが一般的だった。

　もちろんLM Studio以外にも選択肢はあるが、注目すべきはローカルLLM実行ツールの1つである「Lemonade Server」が、バックエンドとして「FastFlowLM」ランタイムをサポートした点だ。

　FastFlowLMは、AMDのRyzen AIに組み込まれている「XDNA 2」世代のNPU専用に開発された推論ランタイムである。使い勝手は「Ollama」に近く、コマンドライン操作で手軽にモデルの取得や実行が行える。

　Lemonade ServerにはGUI環境も備わっており、LM Studio感覚での直感的な操作も可能だ。対応環境はXDNA 2世代のNPUを備えたプロセッサであり、Ryzen AI 300シリーズをはじめ、本機が搭載するGorgon PointやRyzen AI 400シリーズがカバーされる。

　補足しておくと、このNPU推論環境はAI X1 Pro-470だけの独占機能ではない。前モデルのAI X1 Pro（Ryzen AI 9 HX 370搭載）も同じXDNA 2世代NPUを備えているため、同様にFastFlowLMを動作させられる。既存モデルのユーザーもぜひ試してみてほしい。

　その前提で新モデルを見ると、NPU性能が50TOPSから55TOPSへと約10％引き上げられている点が意味を持つ。CPUの伸び幅が約5％であったことを考えると、新プロセッサで最も強化されたポイントこそがNPUだ。

　ここで最も重要なのは、CPUやGPUのパワーを消費せず「NPUのみ」でAI推論を完結できる点にある。これまでローカルLLMの実行にはGPUが必須であり、せっかくのNPUも宝の持ち腐れ状態になっていた。

　しかし「Lemonade Server＋FastFlowLM」の登場によって、NPUを本来の用途であるAI専用プロセッサとして実用的に稼働させる環境が整った。この状況を踏まえると、NPU性能が強化されたAI X1 Pro-470の存在価値は一気に跳ね上がる。

NPUとGPUの推論パフォーマンスを比較検証

　それでは、NPUとGPUそれぞれの推論パフォーマンスを比較していこう。今回は「llama.cpp（GPU動作）」と「FastFlowLM（NPU単独動作）」の2パターンで計測を行った。

　テストモデルにはGoogleの軽量LLM「Gemma 4」から「E2B」と「E4B」をチョイスした。エッジデバイス環境に最適化されたモデルであり、ミニPC上での運用性を検証するのにうってつけだ。

　検証に用いたチェックポイントは、FastFlowLM側が「gemma4-it:e2b」「gemma4-it:e4b」、llama.cpp側が「unsloth/gemma-4-E2B-it-GGUF:Q4_K_M」「unsloth/gemma-4-E4B-it-GGUF:Q4_K_M」となる。

　量子化形式はFastFlowLM側が「Q4_1」、llama.cpp側が「Q4_K_M」と異なる。FastFlowLMはNPU専用に最適化されたウェイト保持形式を採用しているため、厳密に同一条件での比較が難しい点には考慮が必要だ。

　従って、本テストは各環境の推奨標準モデルにおける実測値の比較として参照してほしい。コンテキスト長はLemonade Serverの初期設定である4096に統一し、以下のプロンプトを投入した。なお、Gemma 4 E4B動作時には共有VRAMの割り当てを2GBから8GBに拡張している。

あなたは架空の国の首相です。経済成長率が2%で停滞し、失業率が5%に上昇しています。財政赤字も拡大傾向です。経済成長を加速し、失業率を下げ、財政健全化を同時に達成するための政策パッケージを3つ提案し、それぞれの政策がどのように相互作用するか、メリット・デメリットも含めて説明してください。

　結果は以下の通りだ。

• Gemma 4 E2B
• NPU：18.7トークン毎秒
• GPU：19.9トークン毎秒
• Gemma 4 E4B
• NPU：10.1トークン毎秒
• GPU：10.7トークン毎秒

　スコアを比較してみると、実用上の生成速度においてはNPU動作とGPU動作で差がほとんど見られない。数値だけを見れば「それならNPUを使うメリットはないのでは？」と思われるかもしれない。

Lemonade Server Gemma 4ベンチマーク結果

　しかし、FastFlowLMでの推論実行中にタスクマネジャーを確認すると、その見方は一変する。

　GPUの使用率がわずか5％前後に抑制されているのに対し、NPUの使用率は100%に達していた。つまり、GPUリソースを無駄に消費することなく、同等の処理速度を実現できているわけだ。

　これが意味するのは、バックグラウンドでローカルLLMを回しながらでも、GPUリソースに十分な空きが確保されるということだ。LLM処理と並行してWebブラウジングや4K動画の視聴を行っても、PCの動作が阻害されることはない。

　ローカルLLMの実行が「GPUリソースの占有」を意味していた従来環境を考えれば、この副産物は極めて大きい。

　用途が限定的だったNPUが、ここまでフルポテンシャルを発揮している光景を目の当たりにしたのは筆者にとっても初めてだ。非常に強い感銘を受けた。

FastFlowLMを使って推論を回している間、NPUの使用率が100%に張り付く一方で、GPUには余裕があることが確認できた

　NPU単独で実用的なLLM推論が可能となった今、NPUパフォーマンスが50TOPSから55TOPSへと正統強化されたAI X1 Pro-470は、まさに時代が求めるベストなミニPCといえる。

　CPU性能の伸びしろ自体は控えめだが、本機の本質的な魅力はそこではない。「NPUをフル活用できるソフトウェア環境」が完成した絶妙なタイミングで、まさにそのNPUを強化したハードウェアが登場した点にこそ真の価値がある。

　さらに、CUDA環境が不可欠な場面に遭遇したとしても、USB4やOCuLinkを介してeGPUを接続すればNVIDIA GeForceの処理能力を追加できる柔軟性も備えている。

　「最小構成から始めて、必要に応じて拡張していく」──ローカルAIの運用が本格的な実用期を迎えた今、この拡張思想を備えたプロダクト設計は、実に理にかなった選択肢といえるだろう。