LM Studioにはチャット機能だけでなく、添付したPDFファイルやWordファイル(docx)、テキストデータ(.txt)、CSVデータ(.csv)を読み込み、内容に関する質疑応答を行う機能も備わっている。
クラウドサービスでも同じような機能を利用できるが、設定ミスや料金プランによっては、添付ファイルの内容が学習されてしまうリスクがある。しかし、LM Studioであればそのような心配はないため、ローカルLLMを利用するに当たって大きなメリットが得られる。
今回は筆者が過去に執筆した技術同人誌のPDFデータを使ってgpt-oss-20bに内容の要約を依頼してみたので、その手順を詳しく解説していこう。
チャット欄の左下にある添付アイコンをクリックすると、上図のようなRAG(Retrieval-Augmented Generation)と呼ばれる機能の紹介が表示される。
LM Studioでは、回答を生成する際に読み込んだモデルの学習データだけでなく、外部の文書から関連情報をリアルタイムに検索し、その内容をもとに回答を生成するRAGという機能が備わっている。
本来、RAGの実装はGUIではできず、高度な知識が必要だったが、LM Studioではユーザーの操作を削減し、ファイルを添付するだけでRAGを利用できるという大きな強みを持つ。
要約対象のPDFファイルを追加した上で、そのPDFファイルがどのようなファイルなのか、簡潔にまとめた上で、内容をまとめるよう依頼してみた。チャット本文は以下の通りだ。
添付のファイルはWindows 11を自動キッティングする手順を解説した本です。内容を簡単にまとめてください
結果としては内容に特に不審な点も見当たらない要約文(サマリー)が出力された。
PDFファイルの場合、PDF内のテキストが画像ではなく、テキストデータとして扱われていることが前提とはなるものの、精度の高い要約文を作成できたのは大きい成果だ。
例えば、Google Docsで作成したドキュメントも、PDFとしてダウンロードすれば、文字がテキストデータとして認識されたPDFで出力されるため、内容理解やまとめる時間を大幅に削減できるだろう。
本記事では、LM Studioを使ってgpt-oss-20bを手元のPCで活用する方法を解説した。特にPC内にあるテキストデータを外部に送信することなく、gpt-oss-20bを使って要約や、内容の分析が実現できる点は、ローカルLLM導入の大きなメリットと言えよう。
gpt-oss-20bのように、パラメータ数が小さいモデルであればグラフィックスカードを搭載したゲーミングPCでも快適に動作させられるので、ゲーミングPCをお持ちの方はぜひ一度、LM Studioでgpt-oss-20bを試し、生成AI時代に一歩踏み出してみてはいかがだろうか。
手元にゲーミングPCがあれば、オフライン環境でも生成AIが利用できるってホント? ローカルLLM(大規模言語モデル)導入を解説
米AMD、RyzenやRadeonで生成AIをローカル実行するハウツーガイドを公開
NVIDIAがPC上のデータを使うAIチャットbotツール「Chat with RTX」公開/AMD製CPUに複数の脆弱性
生成AIが笑ってしまうほど高速に――Qualcommが450TOPSの“外付け”NPUを開発 Dell Technologiesのx86ノートPCに搭載
OpenAIがローカルで実行可能な言語モデル「gpt-oss」シリーズを公開/Google DeepMindがリアルタイム生成可能なAIモデル「Genie 3」を発表
なぜPCに「AI」が必要なのか? HPのキーマン2人に聞くCopyright © ITmedia, Inc. All Rights Reserved.