検索
連載

M4 Mac miniで「gpt-oss」は動く? 動作が確認できたローカルLLMは……“超”初心者向けローカルAI「gpt-oss」導入ガイド(5)(4/5 ページ)

本連載ではローカルLLMの導入方法から活用方法に至るまで、「手元にハイエンドPCがあって、生成AIをローカル環境で動かしてみたい」という初心者の方にも分かりやすく連載で解説する。

Share
Tweet
LINE
Hatena

gpt-oss-20bだけが全てではない! M4 Mac mini 16GBでも快適に動作するモデルはこれだ!

 ローカルLLMで利用するモデルは、それぞれパラメータ数が定められており、このパラメータ数が大きくなればなるほど、より複雑な表現が可能となる。その反面、パラメータ数が大きくなればなるほど必要となるグラフィックスメモリや、ユニファイドメモリの量が増えてくる。

 今回試したgpt-oss-20bは約200億(20b)と、PC上で動作させるにはパラメータ数が大きなモデルに分類される。

 であれば、パラメータ数がgpt-oss-20bより小さいモデルであれば、M4 Mac mini 16GBモデルでもローカルLLMを利用できるのではと考え、M4 Mac mini 16GBでも動作する、代わりのモデルを紹介しよう。

gpt-oss-20bが動作しないのなら、gemma-3-12bを使ってみよう!

 搭載されているユニファイドメモリが少ないM4 Mac miniでも正常に読み込めて、かつ快適に利用できるモデルを紹介する。それは、マルチモーダルモデルを紹介した記事でも扱った、Googleが作成した「gemma-3-12b」だ。

photo
Googleが作成したgemma-3-12bはパラメータ数が小さいうえに、画像の読み込みにも対応したオススメモデルだ

 日本語の理解においても、特に違和感なく利用できる。さらにgpt-oss-20bでは利用できなかった、画像ファイルの取り扱いも可能となる。

photo
M4 Mac mini 16GBでも快適にローカルLLMを利用できる

ある都市で新型の感染症が流行し始めています。感染症の基本再生産数(R0)は2.5で、人口は100万人、初期感染者は100人です。ワクチンの接種率が50%の場合、感染拡大を抑えるためには追加でどれだけの人がワクチンを接種する必要がありますか?また、感染拡大を防ぐための他の公衆衛生対策を3つ挙げ、それぞれの効果と課題を論理的に説明してください。

 Gemma-3-12bで試しに上記のプロンプトを実行してみたが、13.8トークン毎秒と実用に十分耐えうるパフォーマンスを発揮してくれた。

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る