しかし、記事の内容取得の無限ループに陥ってしまった。これは、LM Studioで設定できるコンテキスト長と呼ばれる、LLMが一度に処理または記憶できるテキスト量が足りず、無限ループに陥ってしまっている。
コンテキスト長の設定変更は、一度gpt-oss-20bの読み込みを解除する必要があるので、画面上部の「Eject」をクリックしよう。
再度gpt-oss-20bを読み込むのだが、その際に「モデル読み込みパラメータを手動で選択」のスライドボタンをクリックしてから「OpenAI’s gpt-oss-20B」をクリックしてみよう。
すると「コンテキスト長」を設定できる部分が表示されるので、デフォルトの4096から8192に変更し、「モデルを読み込む」をクリックしよう。
コンテキスト長を変更してから再度先ほどのプロンプトを実行してみると、今度は正常に記事内容を要約できた。
Web Search MCP Serverを利用すれば、gpt-oss-20bで最新のデータを使った処理ができることが分かった。
しかし、コンテキスト長を増やすとその分メモリの使用量が増えてしまうことや、回答が生成されるまでに時間が多くかかってしまうデメリットもあるのがたまにきずだ。
とはいえ、有償のクラウドサービスを契約せずとも、gpt-oss-20bとWeb検索を組み合わせられる点は大きい。Gpt-oss-20bを使っている際に、おかしいなと感じた際は、Web Search MCP Serverの導入も検討してみると良いだろう。
手元にあるゲーミングPCを活用して生成AIを動かす! 無料で使える「LM Studio」のキホンを解説
手元にゲーミングPCがあれば、オフライン環境でも生成AIが利用できるってホント? ローカルLLM(大規模言語モデル)導入を解説
米AMD、RyzenやRadeonで生成AIをローカル実行するハウツーガイドを公開
NVIDIAがPC上のデータを使うAIチャットbotツール「Chat with RTX」公開/AMD製CPUに複数の脆弱性Copyright © ITmedia, Inc. All Rights Reserved.