前回の記事では、LM Studioとgpt-ossを使ったチャット機能を試した。有償のクラウドサービスを契約せずとも、「OpenAI o3-mini」と同等以上の性能を発揮しつつ、プライバシーに配慮した活用ができる点は非常に魅力的だ。
しかし、gpt-ossはチャット機能以外にも活用方法がたくさん用意されており、活用の幅を大きく広げる可能性を秘めている。
前回を基本編の立ち位置としてみると、今回の記事は応用編となるが、手順を1つずつ解説していくので、ぜひローカルLLMの世界に飛び込むきっかけにして欲しい。
【第1回】手元にゲーミングPCがあれば、オフライン環境でも生成AIが利用できるってホント? ローカルLLM(大規模言語モデル)導入を解説
【第2回】手元にあるゲーミングPCを活用して生成AIを動かす! 無料で使える「LM Studio」のキホンを解説
開発者がAIモデルを作成する場合、膨大な情報を学習させる。できれば最新のデータをギリギリまで入れ込みたいところだが、モデルを世間に公開するにあたり、学習データの最終収集日は決まっている。これをナレッジカットオフと呼ぶ。
よってナレッジカットオフ以降のデータや情報は学習されていないため、最新の情報については認識できず、あくまで推論することしかできない。
試しにgpt-oss-20bを読み込んで、「あなたはWeb上のデータを検索できますか?」とプロンプトを実行してみたところ、リアルタイム検索には対応しておらず、ナレッジカットオフが2024年6月であることが分かる。
加えてWeb上のデータをリアルタイムで検索できない。例えば下記のプロンプトを実行してみよう。
「https://www.itmedia.co.jp/pcuser/articles/2509/01/news023.htmlは筆者が以前執筆したMINISFORUMのミニワークステーション『MS-A2』について紹介した記事です。ページ内容を要約して特徴を教えてください。」
すると、URL先を読み込んで要約したような結果が出力されるが、よく見ると発売時期が2023年初頭だったり、搭載CPUをAMD Ryzen 9 9955HXではなく、AMD Ryzen 5 5500Uと回答したりと、でたらめな情報が表示されてしまう。
「https://www.itmedia.co.jp/pcuser/articles/2509/01/news023.htmlは筆者が以前執筆したMINISFORUMのミニワークステーション『MS-A2』について紹介した記事です。ページ内容を要約して特徴を教えてください。」というプロンプトを実行してみたgpt-oss-20bの推論パフォーマンス自体はo3-miniに匹敵するため、普段使いであれば十分な推論を実施できるものの、可能であればWeb検索も組み合わせて正確な回答を出力して欲しいのが正直なところだ。
そんな弱点を補う仕組みとして、「Model Context Protocol」(MCP)と呼ばれる、外部データソースやツールと接続するための標準プロトコルが用意されている。
LM Studioには、このMCPを利用するためのMCPサーバ機能が用意されており、ユーザーが簡単にLM Studioの機能を拡張できるようになっている。
そこで、最新の情報を検索して推論に利用できるようになる「Web Search MCP Server」を導入し、正しい情報が生成できるようにしてみよう。
手元にあるゲーミングPCを活用して生成AIを動かす! 無料で使える「LM Studio」のキホンを解説
手元にゲーミングPCがあれば、オフライン環境でも生成AIが利用できるってホント? ローカルLLM(大規模言語モデル)導入を解説
米AMD、RyzenやRadeonで生成AIをローカル実行するハウツーガイドを公開
NVIDIAがPC上のデータを使うAIチャットbotツール「Chat with RTX」公開/AMD製CPUに複数の脆弱性Copyright © ITmedia, Inc. All Rights Reserved.