Special

無料でアカウント登録不要、NVIDIAのGPUがあれば超高速! 「LM Studio」で自分専用のAIアシスタントを作ろう(2/3 ページ)

本記事では、実際に「NVIDIA GeForce RTX 5060 Ti」を搭載したPCを使って、LM Studioを導入する方法や、活用方法を解説する。例えば、ゲーミングPCを持っている人であれば、GPUパワーをゲームだけでなく、生成AIにも活用できるようになる。

PR

Nemotron Nano v2 9BでAIを実際に使ってみよう!

 さて、LM Studioの初期設定とNemotron Nano v2 9Bの準備も完了したので、早速AIを実際に使ってみよう。

 AIを利用するには通常のチャットツールを使う時と同じで、チャットの入力欄にAIに聞きたいことを入力して送信するだけだ。チャットツールであればしばらくすると人が回答してくれるが、LM Studioでは人の代わりにAIが超高速で回答してくれる。

 試しに下記のような内容を質問してAIの性能を確認してみよう。

あなたは架空の国の首相です。経済成長率が2%で停滞し、失業率が5%に上昇しています。財政赤字も拡大傾向です。経済成長を加速し、失業率を下げ、財政健全化を同時に達成するための政策パッケージを3つ提案し、それぞれの政策がどのように相互作用するか、メリット/デメリットも含めて説明してください。


AIの利用は至って簡単! チャットツールと同じ感覚でAIに質問してみよう

 すると、Nemotron Nano v2 9Bが質問内容を読み取って考え始める。この時にタスクマネージャーでGPUの負荷状況を確認してみると、3Dの項目がほぼ100%を示していることが分かる。

 AIが回答を生成する行為を推論と呼ぶが、この推論には膨大な計算が発生し、CPUでは処理すると非常に長い時間がかかってしまう。

 そこで、NVIDIA GeForce RTXのように、CPUと比べて非常に高速で計算できるGPUが推論を肩代わりすることで、超高速で回答が得られるというわけだ。

 ただ、推論の状況を確認してみると、どうやらNemotron Nano v2 9Bは英語で推論しているようだが、回答は日本語で得られるのだろうか……?


AIを活用するためにはNVIDIA GeForce RTXのように非常に高速で計算できるGPUが非常に重要となる

 今回送信した質問内容は、専門的な分野かつ人が回答を用意するためには時間がかかるが、NVIDIA GeForce RTX 5060 Tiは推論に約14秒、回答生成に約33秒と驚異的なスピードで、1581文字の回答をきちんと日本語で出力した。

 内容も特に違和感を覚えることもなく、高品質な回答をトータルたった47秒で出力できる点は非常に驚異的だ。

 NVIDIA GeForce RTX 5060 TiはミドルクラスのGPUであるにもかかわらず、これほど高速で回答を得られる点も踏まえると、やはりAI利用にNVIDIAのGPUはピッタリといえよう。


NVIDIAのGPUを使えば、人に頼めば数日かかるような質問も1分未満と超高速で回答を出力してくれる

提供:エヌビディア合同会社
アイティメディア営業企画/制作:ITmedia PC USER 編集部/掲載内容有効期限:2025年11月3日

Copyright © ITmedia, Inc. All Rights Reserved.