ローカルLLMブームの正体(上)

100万円のPCが注目ランキング1位に? ローカルLLMブームを生んだ「3つの条件」(2/2 ページ)

「ユニファイドメモリ」ハードウェアの登場

DGX SparkのOEMモデルである「Dell Pro Max with GB10」(機材協力:デル・テクノロジーズ)。フットプリントは15×15cmで通常のデスクトップPCよりも小型

 第二は、実行するハードウェア環境にさまざまな選択肢が出てきたことだ。コンシューマ向けハイエンドGPUでは「Qwen3.8-27B」程度までなら実行できるが、それより大きなモデルは難しい。GPU上のメモリ(VRAM)の容量が足りないためだ。

 原則として、LLMを実行するにはメモリ上にウェイトを全てロードする必要がある。VRAMで足りなければメインメモリに追加で展開する方法もあるが、メインメモリの読み出し速度や、2つを結ぶ箇所(PCIe)の速度がボトルネックとなり推論速度がガクッと落ちるため、VRAMのみに全て展開するのが望ましい。

メインメモリとGPUのVRAMを合わせてLLMのウェイトを展開する方法もあるが、VRAMのみに展開する方法に比べて推論速度が落ちる。写真はGPUに加えて48GBのメインメモリを4枚搭載した筆者のLLM推論マシン

 そこへ、「ユニファイドメモリ」という「大容量メインメモリをCPUとGPUで高速に共有する仕組み」を持ったマシンが2025年に出てきた。冒頭に挙げたDGX Sparkや、米Appleの「Mac Studio」、米AMDの「Ryzen AI Max+ 395」チップ搭載マシンなどだ(Macは2020年のM1からユニファイドメモリを採用)。コンシューマ向けハイエンドGPUはVRAMが大きくても32GB程度であるのに対し、DGX SparkやRyzen AI Max+ 395機はその4倍の128GBを搭載する。Mac Studioは最大512GBまで搭載可能。そのため、GPU1枚や2枚では難しかった大きな高性能モデルを手元で扱いやすくなった。

ソフトウェアも使いやすく AIエージェントも加速要因

 第三はソフトウェア環境の充実だ。「Ollama」や「LM Studio」といった一般的なアプリケーション感覚でインストールできるソフトウェアの開発が活発に続けられており、専門的な知識がなくても始められるようになっている。

オープンなLLMのダウンロードから実行までGUIでできる「LM Studio」。ダウンロード先は先日米NVIDIAが買収を発表した米Hugging Faceが設定されている

 「AIエージェント」や「コーディングエージェント」と呼ばれる、チャットに留まらずWebブラウザやPC内部の操作が可能なAIアプリケーションが出てきたのも大きい。ローカルLLMと組み合わせればPC内のプライバシー性の高いファイルを操作できる、というのもあるが、逆説的だが「クラウドAIとコーディングエージェントを使ってローカルLLM環境をさっと構築できる」というのもある。

 特にDGX SparkはOSがLinuxなのもあり、日常的にWindowsやMacを利用しているユーザーには分かりにくい点もある。Linuxのコマンド操作やローカルネットワークの状態に詳しくなくても、AIエージェントに依頼すれば動作するところまで整えてくれるわけだ。


 このように、ローカルLLMに関して「モデル」「ハードウェア」「ソフトウェア」という3つの土壌が成熟し始めていることに加え、Fable 5輸出規制事件などで「クラウドAIに生殺与奪を握られる懸念」も顕在化した結果が、現在のローカルLLMブームを読み解く上でまず重要な観点だと筆者は考えている。

もっとも、「手元で動かせる」ことと「手元で動かす価値がある」ことは別の話になる。次回は、個人と企業の用途から、ローカルLLMの利点と限界を見ていく。

印刷する
SNSでシェア
SpecialPR

この記事の著者

井上輝一
井上輝一

2016年3月からITmediaにジョイン。ITmedia Mobile、PC USER、LifeStyle、ヘルスケアで編集・執筆を兼務。2017年4月からITmedia NEWSでの兼務も開始。2019年4月にNEWS専属となる。スマートフォンやPCといったガジェット系の他、理系(神経科学)のバックグラウンドを生かして科学系のネタや、量子コンピュータ、ブロックチェーン、AIなど多岐に渡って取材している。

関連記事

こんなメディアも見られています

ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

よく見られているカテゴリー

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

SpecialPR

ITmedia AI+ SNS

X @itm_aiplusをフォロー

インフォメーション

ITmedia AI+をフォロー

あなたにおすすめの記事PR