ローカルLLMで利用するモデルは、それぞれパラメータ数が定められており、このパラメータ数が大きくなればなるほど、より複雑な表現が可能となる。その反面、パラメータ数が大きくなればなるほど必要となるグラフィックスメモリや、ユニファイドメモリの量が増えてくる。
今回試したgpt-oss-20bは約200億(20b)と、PC上で動作させるにはパラメータ数が大きなモデルに分類される。
であれば、パラメータ数がgpt-oss-20bより小さいモデルであれば、M4 Mac mini 16GBモデルでもローカルLLMを利用できるのではと考え、M4 Mac mini 16GBでも動作する、代わりのモデルを紹介しよう。
搭載されているユニファイドメモリが少ないM4 Mac miniでも正常に読み込めて、かつ快適に利用できるモデルを紹介する。それは、マルチモーダルモデルを紹介した記事でも扱った、Googleが作成した「gemma-3-12b」だ。
日本語の理解においても、特に違和感なく利用できる。さらにgpt-oss-20bでは利用できなかった、画像ファイルの取り扱いも可能となる。
ある都市で新型の感染症が流行し始めています。感染症の基本再生産数(R0)は2.5で、人口は100万人、初期感染者は100人です。ワクチンの接種率が50%の場合、感染拡大を抑えるためには追加でどれだけの人がワクチンを接種する必要がありますか?また、感染拡大を防ぐための他の公衆衛生対策を3つ挙げ、それぞれの効果と課題を論理的に説明してください。
Gemma-3-12bで試しに上記のプロンプトを実行してみたが、13.8トークン毎秒と実用に十分耐えうるパフォーマンスを発揮してくれた。
テキストだけじゃない? 画像データも理解できる「VLM」(視覚言語モデル)を導入する方法
「gpt-oss」はチャット機能以外にも活用方法がたくさん? 最新のWeb情報を利用するやり方も伝授
手元にあるゲーミングPCを活用して生成AIを動かす! 無料で使える「LM Studio」のキホンを解説
手元にゲーミングPCがあれば、オフライン環境でも生成AIが利用できるってホント? ローカルLLM(大規模言語モデル)導入を解説
米AMD、RyzenやRadeonで生成AIをローカル実行するハウツーガイドを公開
NVIDIAがPC上のデータを使うAIチャットbotツール「Chat with RTX」公開/AMD製CPUに複数の脆弱性Copyright © ITmedia, Inc. All Rights Reserved.