ローカルLLMは処理自体が非常に重たく、GPUを使った処理が基本となる。そのため、ゲーミングPCのような独立GPUを搭載したPCが強く推奨される。
なお、最新のCopilot+ PCであれば独立GPUを使わなくともメモリ搭載量を増やせばローカルLLMを利用できるが、本連載では既にゲーミングPCのような外部GPUを搭載したハイエンドPCが手元にあって「ローカルLLMにチャレンジしてみたい」と考えている読者の方を念頭に置いて解説したい。
今話題のgpt-oss-20bを快適に利用するためには、以下のスペックを推奨する。
目安としては、モンスターハンターワイルズのようなAAAタイトルをフルHD(1920×1080ピクセル)の解像度で快適にプレイできるPCであれば、基本的にgpt-oss-20bをスムーズに利用できる。
Radeonシリーズは以前まではローカルLLMの利用は玄人向けだったが、最近はライトユーザーであっても問題なく利用できるようになってきている。何より推論性能はRDNA 3やRDNA 4アーキテクチャを採用したRadeon RXシリーズは強みを発揮する。
実際、筆者もRadeon RX 9070を搭載したPCでgpt-oss-20bの動作をテストしているが、何ら問題なく動いている。
さて、前置きはこれくらいにして早速gpt-oss-20bを動作させる環境をセットアップしていこう。なお、今回はGUI(グラフィカルユーザーインタフェース)で操作できて、さまざまなAIモデルをワンクリックで導入できるチャットインタフェースを採用したアプリ「LM Studio」の導入手順を詳しく解説する。
米AMD、RyzenやRadeonで生成AIをローカル実行するハウツーガイドを公開
NVIDIAがPC上のデータを使うAIチャットbotツール「Chat with RTX」公開/AMD製CPUに複数の脆弱性
生成AIが笑ってしまうほど高速に――Qualcommが450TOPSの“外付け”NPUを開発 Dell Technologiesのx86ノートPCに搭載
OpenAIがローカルで実行可能な言語モデル「gpt-oss」シリーズを公開/Google DeepMindがリアルタイム生成可能なAIモデル「Genie 3」を発表
なぜPCに「AI」が必要なのか? HPのキーマン2人に聞くCopyright © ITmedia, Inc. All Rights Reserved.