プロナビ

Microsoftのイベントと「AI PC」で一気に上昇する要求スペック 大きく変化するAI PC時代のPC選びWindowsフロントライン(3/4 ページ)

» 2024年05月20日 12時30分 公開

ローカルLLMを実行するための“AI PC”

 なぜローカルLLMが必要になるかだが、理由は2つ考えられる。

 1つは前述のレスポンス性で、ある程度汎用(はんよう)的な処理についてはChatGPTのように全ての処理をクラウド側に投げて回答を待つのではなく、ローカル側で処理してしまった方が素早いレスポンスが得られるからだ。

 もう1つはOpenAIなどのLLMを開発する企業や、Azureという巨大なクラウドを運営するMicrosoftの懐事情にあるが、巨大LLMを動かすデータセンターを運用し、世界中のユーザーの問い合わせ要求に応え続けるのはネットワーク的にも電力的にもコスト的な負担が大きく、ある程度をローカル側に分離したいという欲求だ。

 幸い、昨今のスマートフォンやタブレットを見れば分かるように、ローカルにあたる“エッジ”デバイスについても満足がいく性能を持つようになり、こうしたワークロードの分離はいいアイデアといえる。

 たびたびウワサされるが、「MicrosoftがWindowsで課金モデルを採用しようとしている」といった話についても、金銭的負担の元凶の1つであるCopilotなどの動作負担をローカルに落とし込めれば、現在の利用モデルがそのまま継続される可能性が高い。

現状、大規模言語開発には大容量でメモリの帯域幅を確保できるMac Studioなどが適しているという 現状、大規模言語開発には大容量でメモリの帯域幅を確保できるMac Studioなどが適しているという

 さて、ここからが問題となるが、ローカルLLMを実行するためにはどれだけのパフォーマンスが必要になるのか。まずプロセッサだが、「学習」で有効となるのはGPUだが、「推論」の実行にあたってはやや性能過多であり、消費電力を含む実行効率面でもその動作に特化したNPU(Neural Processing Unit)に軍配が上がる。

 前回も触れたが、MicrosoftがAI PCで要求しているとされる「NPUで40TOPS」という数字では、CPU+GPU+NPUではなく、あくまでNPU単体での性能基準を設けている。少なくともNPUだけでローカルLLMの推論エンジンを“回せる”程度の実効性能が「AI PC」には必要ということなのだろう。

 そしてやっかいなのがメモリだ。学習や推論のいずれにおいても、これらの処理をGPUで実行する場合、GPU上のメモリ容量が必要になる。CPU側のメインメモリやSSDのような高速な外部ストレージを利用することも可能な仕組みもあるが、処理速度が一気に遅くなってしまう。

 重要なのは容量に加えて「メモリの帯域幅」で、ゲーム利用を想定したグラフィックスカードなどは搭載メモリが少ない製品もあり、LLMとの相性が必ずしもよくないという問題がある。「LLM開発者は大容量メモリを搭載したMac Studioを導入すべし」といったエントリーが公開されて話題になるほどで、Unified Memoryによる“高速大容量”という両条件を満たしたMac Studioが脚光を浴びる理由はこの点にある。

iPad Proで先行搭載されたM4チップ iPad Proで先行搭載されたM4チップ

 話をWindows on ArmのAI PCに戻すと、NPUで40TOPS、搭載メモリで16GBということで、決して大規模向けではないものの、おそらくは「ローカルLLMを実行できる最低ライン」がこの水準だとMicrosoftでは認識しているのではないだろうか。

Copyright © ITmedia, Inc. All Rights Reserved.

最新トピックスPR

過去記事カレンダー