連載

M4 Mac miniで「gpt-oss」は動く? 動作が確認できたローカルLLMは……“超”初心者向けローカルAI「gpt-oss」導入ガイド(5)(3/5 ページ)

本連載ではローカルLLMの導入方法から活用方法に至るまで、「手元にハイエンドPCがあって、生成AIをローカル環境で動かしてみたい」という初心者の方にも分かりやすく連載で解説する。

M4 Mac mini 16GBモデルでgpt-oss-20bを読み込んでみたが……?

 準備も整ったのでいざgpt-oss-20bを読み込んでみたのだが、どうもうまくいかずエラーが発生してしまった。


スペック的に過負荷が予測されるモデルを読み込むと、システムがフリーズすることを防ぐため、モデルの読み込みに失敗する

 どうやらgpt-oss-20bを読み込むと、過負荷によりフリーズしてしまう恐れがあり、LM Studioがモデルの読み込みをストップしたようだ。この機能を「Model loading guardrails(ガードレール)」と呼び、デフォルト設定値では「Strict(厳格モード)」で設定されている。

 ガードレール設定はそれぞれ「Strict(厳格)」「Relaxed(緩和)」「Off(無効)」の3種類が用意されているのだが、M4 Mac mini 16GBモデルの場合、「Relaxed(緩和)」でもgpt-oss-20bが読み込めなかった。

advertisement

 メモリの消費量的におそらく動くだろうと踏んでガードレール設定を「Off(無効)」に設定したところ、gpt-oss-20bの読み込みが完了した。


無理やりモデルを読み込んでみたが、エラーが発生して回答が生成されなかった

 続いて意気揚々とチャットインタフェースを使って、gpt-oss-20bを利用しようとしたところ、gpt-oss-20bがクラッシュしてしまい、プロンプトの生成が強制終了してしまった。


再度無理やりgpt-oss-20bを読み込み、プロンプトを実行するとOSが強制終了してしまった

 この状態で再度gpt-oss-20bを読み込み、再度チャットメッセージを送信したところ、OS自体がクラッシュしてしまった。M4 Mac miniのユニファイドメモリは、CPUとGPUで共有して利用する関係上、LM Studioのメモリ消費量が限界値近くなると、OSの動作自体が不安定になってしまうようだ。

 実行前は「スワップを利用すれば動作するのでは……?」と踏んでいたが、残念ながら思惑通りにはならなかった。もし、gpt-oss-20bをmacOSで利用する場合、ユニファイドメモリは24GB以上搭載するのが無難なようだ。

Copyright © ITmedia, Inc. All Rights Reserved.