準備も整ったのでいざgpt-oss-20bを読み込んでみたのだが、どうもうまくいかずエラーが発生してしまった。
どうやらgpt-oss-20bを読み込むと、過負荷によりフリーズしてしまう恐れがあり、LM Studioがモデルの読み込みをストップしたようだ。この機能を「Model loading guardrails(ガードレール)」と呼び、デフォルト設定値では「Strict(厳格モード)」で設定されている。
ガードレール設定はそれぞれ「Strict(厳格)」「Relaxed(緩和)」「Off(無効)」の3種類が用意されているのだが、M4 Mac mini 16GBモデルの場合、「Relaxed(緩和)」でもgpt-oss-20bが読み込めなかった。
メモリの消費量的におそらく動くだろうと踏んでガードレール設定を「Off(無効)」に設定したところ、gpt-oss-20bの読み込みが完了した。
続いて意気揚々とチャットインタフェースを使って、gpt-oss-20bを利用しようとしたところ、gpt-oss-20bがクラッシュしてしまい、プロンプトの生成が強制終了してしまった。
この状態で再度gpt-oss-20bを読み込み、再度チャットメッセージを送信したところ、OS自体がクラッシュしてしまった。M4 Mac miniのユニファイドメモリは、CPUとGPUで共有して利用する関係上、LM Studioのメモリ消費量が限界値近くなると、OSの動作自体が不安定になってしまうようだ。
実行前は「スワップを利用すれば動作するのでは……?」と踏んでいたが、残念ながら思惑通りにはならなかった。もし、gpt-oss-20bをmacOSで利用する場合、ユニファイドメモリは24GB以上搭載するのが無難なようだ。
テキストだけじゃない? 画像データも理解できる「VLM」(視覚言語モデル)を導入する方法
「gpt-oss」はチャット機能以外にも活用方法がたくさん? 最新のWeb情報を利用するやり方も伝授
手元にあるゲーミングPCを活用して生成AIを動かす! 無料で使える「LM Studio」のキホンを解説
手元にゲーミングPCがあれば、オフライン環境でも生成AIが利用できるってホント? ローカルLLM(大規模言語モデル)導入を解説
米AMD、RyzenやRadeonで生成AIをローカル実行するハウツーガイドを公開
NVIDIAがPC上のデータを使うAIチャットbotツール「Chat with RTX」公開/AMD製CPUに複数の脆弱性Copyright © ITmedia, Inc. All Rights Reserved.