ローカルLLMブームの正体(上)
100万円のPCが注目ランキング1位に? ローカルLLMブームを生んだ「3つの条件」(2/2 ページ)
「ユニファイドメモリ」ハードウェアの登場
第二は、実行するハードウェア環境にさまざまな選択肢が出てきたことだ。コンシューマ向けハイエンドGPUでは「Qwen3.8-27B」程度までなら実行できるが、それより大きなモデルは難しい。GPU上のメモリ(VRAM)の容量が足りないためだ。
原則として、LLMを実行するにはメモリ上にウェイトを全てロードする必要がある。VRAMで足りなければメインメモリに追加で展開する方法もあるが、メインメモリの読み出し速度や、2つを結ぶ箇所(PCIe)の速度がボトルネックとなり推論速度がガクッと落ちるため、VRAMのみに全て展開するのが望ましい。
そこへ、「ユニファイドメモリ」という「大容量メインメモリをCPUとGPUで高速に共有する仕組み」を持ったマシンが2025年に出てきた。冒頭に挙げたDGX Sparkや、米Appleの「Mac Studio」、米AMDの「Ryzen AI Max+ 395」チップ搭載マシンなどだ(Macは2020年のM1からユニファイドメモリを採用)。コンシューマ向けハイエンドGPUはVRAMが大きくても32GB程度であるのに対し、DGX SparkやRyzen AI Max+ 395機はその4倍の128GBを搭載する。Mac Studioは最大512GBまで搭載可能。そのため、GPU1枚や2枚では難しかった大きな高性能モデルを手元で扱いやすくなった。
ソフトウェアも使いやすく AIエージェントも加速要因
第三はソフトウェア環境の充実だ。「Ollama」や「LM Studio」といった一般的なアプリケーション感覚でインストールできるソフトウェアの開発が活発に続けられており、専門的な知識がなくても始められるようになっている。
「AIエージェント」や「コーディングエージェント」と呼ばれる、チャットに留まらずWebブラウザやPC内部の操作が可能なAIアプリケーションが出てきたのも大きい。ローカルLLMと組み合わせればPC内のプライバシー性の高いファイルを操作できる、というのもあるが、逆説的だが「クラウドAIとコーディングエージェントを使ってローカルLLM環境をさっと構築できる」というのもある。
特にDGX SparkはOSがLinuxなのもあり、日常的にWindowsやMacを利用しているユーザーには分かりにくい点もある。Linuxのコマンド操作やローカルネットワークの状態に詳しくなくても、AIエージェントに依頼すれば動作するところまで整えてくれるわけだ。
このように、ローカルLLMに関して「モデル」「ハードウェア」「ソフトウェア」という3つの土壌が成熟し始めていることに加え、Fable 5輸出規制事件などで「クラウドAIに生殺与奪を握られる懸念」も顕在化した結果が、現在のローカルLLMブームを読み解く上でまず重要な観点だと筆者は考えている。
もっとも、「手元で動かせる」ことと「手元で動かす価値がある」ことは別の話になる。次回は、個人と企業の用途から、ローカルLLMの利点と限界を見ていく。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
AIに200万円渡してネットショップを1年運営させてみた──Alibabaの研究者らがシミュレーション 資産14倍の例も
-
2
チームみらい安野貴博党首ら「サイバー攻撃から国民守る」緊急提言、デジ庁に提出 「AIにはAIを」
-
3
サイバー攻撃AIツール「ARTEX」とは 中国政府と連携する攻撃者も使用、各国で悪用確認
-
4
漢検運営が「AIで生成」画像で漢字ミス→謝罪 「これを出そうって神経が分からない」の声も
-
5
チームみらい安野氏「電力、水道、医療などの停止を伴う被害を想定すべき」 デジ庁に緊急提言へ、AI悪用のサイバー攻撃受け
-
6
デジタル庁、「神Excel」対策ツールを公開 AIと組み合わせたデータ整備方法も紹介
-
7
「エージェント向け1Password」発表 AIにパスワード渡さずアクセス権限付与可能に
-
8
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
9
PHP2Shell、公表4日前に悪用の試み 「公表日より前にさかのぼって調査を」とAmazon
-
10
「きもい」「内部資料そのまま」と話題のAI生成掲示物についてセブンイレブンに聞いてみた 「本部提供ではない」
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR