ローカルLLMブームの正体(上)
100万円のPCが注目ランキング1位に? ローカルLLMブームを生んだ「3つの条件」(2/2 ページ)
「ユニファイドメモリ」ハードウェアの登場
第二は、実行するハードウェア環境にさまざまな選択肢が出てきたことだ。コンシューマ向けハイエンドGPUでは「Qwen3.8-27B」程度までなら実行できるが、それより大きなモデルは難しい。GPU上のメモリ(VRAM)の容量が足りないためだ。
原則として、LLMを実行するにはメモリ上にウェイトを全てロードする必要がある。VRAMで足りなければメインメモリに追加で展開する方法もあるが、メインメモリの読み出し速度や、2つを結ぶ箇所(PCIe)の速度がボトルネックとなり推論速度がガクッと落ちるため、VRAMのみに全て展開するのが望ましい。
そこへ、「ユニファイドメモリ」という「大容量メインメモリをCPUとGPUで高速に共有する仕組み」を持ったマシンが2025年に出てきた。冒頭に挙げたDGX Sparkや、米Appleの「Mac Studio」、米AMDの「Ryzen AI Max+ 395」チップ搭載マシンなどだ(Macは2020年のM1からユニファイドメモリを採用)。コンシューマ向けハイエンドGPUはVRAMが大きくても32GB程度であるのに対し、DGX SparkやRyzen AI Max+ 395機はその4倍の128GBを搭載する。Mac Studioは最大512GBまで搭載可能。そのため、GPU1枚や2枚では難しかった大きな高性能モデルを手元で扱いやすくなった。
ソフトウェアも使いやすく AIエージェントも加速要因
第三はソフトウェア環境の充実だ。「Ollama」や「LM Studio」といった一般的なアプリケーション感覚でインストールできるソフトウェアの開発が活発に続けられており、専門的な知識がなくても始められるようになっている。
「AIエージェント」や「コーディングエージェント」と呼ばれる、チャットに留まらずWebブラウザやPC内部の操作が可能なAIアプリケーションが出てきたのも大きい。ローカルLLMと組み合わせればPC内のプライバシー性の高いファイルを操作できる、というのもあるが、逆説的だが「クラウドAIとコーディングエージェントを使ってローカルLLM環境をさっと構築できる」というのもある。
特にDGX SparkはOSがLinuxなのもあり、日常的にWindowsやMacを利用しているユーザーには分かりにくい点もある。Linuxのコマンド操作やローカルネットワークの状態に詳しくなくても、AIエージェントに依頼すれば動作するところまで整えてくれるわけだ。
このように、ローカルLLMに関して「モデル」「ハードウェア」「ソフトウェア」という3つの土壌が成熟し始めていることに加え、Fable 5輸出規制事件などで「クラウドAIに生殺与奪を握られる懸念」も顕在化した結果が、現在のローカルLLMブームを読み解く上でまず重要な観点だと筆者は考えている。
もっとも、「手元で動かせる」ことと「手元で動かす価値がある」ことは別の話になる。次回は、個人と企業の用途から、ローカルLLMの利点と限界を見ていく。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
100万円のPCが注目ランキング1位に? ローカルLLMブームを生んだ「3つの条件」
-
2
なぜAI企業は社内で「ソフトウェアエンジニア」と呼ばなくなったのか 広がる「MTS」と職種の未来
-
3
日立、フィジカルAIの4つの新サービスを発表 「なんちゃってFDE」で終わらせないアプローチとは
-
4
「社長の声」悪用で被害45億円 元警視庁が明かす「AI詐欺」の手口
-
5
中国新興自動車メーカーが取り組むAIアーキテクチャ「LBM」は本流となるか
-
6
行政機関18万人を支える「源内」 わずか1~2人での運用を実現した“一見手の込んだ仕組み”
-
7
Google「Gemini 3.8 Flash」発表 プロンプト1つで3Dゲーム生成、価格据え置きで大規模モデルに迫る
-
8
M365 Copilotでも「GPT-6 Astra」利用可能に 「Fable 5.1」も可 Work IQと合わせて「より的確な応答」に
-
9
生成AIの普及だけじゃない 「デザイン業の倒産」が前年同期比166%増になった意外な理由
-
10
キオクシアのフラッシュメモリとSSDはなぜAIデータセンターに必要とされるのか
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR