検索
レビュー

128GBメモリで120BクラスのLLMが動く! マウスコンピューターの卓上ローカルAI向けミニPC「DAIV CX」の実力(3/4 ページ)

マウスコンピューターのクリエイター向けブランド「DAIV」から、ローカルAIの運用を想定したミニPC「DAIV CX」シリーズが登場した。Ryzen AI Max+ 395と128GBのメモリを小型ボディーに収め、120Bクラスの巨大なLLMも動かせるという1台を試した。

Share
Tweet
LINE
Hatena

120BクラスのLLMを実際に動かしてみた

 マウスコンピューターのBTO PCに触れたことがある人ならご存じの通り、お試し版のセキュリティ対策ソフト以外に、特にプリインストールソフトはない。購入後は、Windows 11 Proのセットアップとアップデートを行い、そこから各自好みの手段でローカルAI環境を整えていくことになる。

 今回は「LM Studio Bionic」を用いて、幾つかのモデルを導入してみた。大容量メモリが魅力なので、「gpt-oss-120b」と「Qwen3.8-Flash-Next」の実行結果を紹介しよう。どちらも同じプロンプトで実行している。

 gpt-oss-120bでは、eval timeが49.34トークン/秒といったパフォーマンスだった。グラフィックスメモリは確かに96GB(95.8GB)が確保されており、gpt-oss-120bでは65GB強が利用されていた。

 Qwen3.8-Flash-Nextは23.92トークン/秒で、グラフィックスメモリは90GB強が利用されていた。また、何度か実行したが、回答までにgpt-oss-120bでは2〜3分、Qwen3.8-Flash-Nextでは10〜15分ほどの時間を要した。

gpt-oss-120bの実行結果
gpt-oss-120bの実行結果
Qwen3.8-Flash-Nextの実行結果
Qwen3.8-Flash-Nextの実行結果

 速さはともかく、これだけ大きなモデルがこの価格帯のPCで問題なく動作することが重要だろう。性能の参考として、UL ProcyonのAIベンチマーク各種のスコアも紹介しておく。

AI Computer Vision Benchmark 2.0(GPU):1139ポイント

  • ConvNeXt:スループット 毎秒458.94images
  • BLIP:デコード推論速度 毎秒118.113it、エンコード推論速度 毎秒63.605it
  • SAM 2.1:デコード推論速度 毎秒159.797it、エンコード推論速度 毎秒97.65it
  • DETR:推論速度 毎秒61.218it
  • ESRGAN:推論速度 毎秒14.240it

AI Image Generation Benchmark(GPU)

  • Stable Diffusion 1.5:890ポイント
  • Stable Diffusion 1.5 Light:8524ポイント
  • Stable Diffusion XL:645ポイント

AI Text Generation Benchmark(ONNX Runtime:GPU)

  • Phi-3.5:1022ポイント
  • Mistral 7B:990ポイント
  • Llama 3.1:896ポイント
  • Llama 2:995ポイント

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る