ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（1/3 ページ）

公開 2023年07月31日 09時02分

更新 2024年04月02日 11時08分

著者

サイトウケンジ

[ITmedia]

印刷する Googleで優先するソースとして追加

　生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。

　このLlama 2、GPT-3.5の3月1日時点のモデルに匹敵する性能を持っているというのがウリです。GPT-3.5といえば、無料版のChatGPTで使われているモデルです。それがオープンソースとして公開されたのですから、衝撃的です。

米Metaが提供する大規模言語モデル「Llama 2」

　さらに、高性能なだけでなくモデルサイズが小さいことも特徴です。GPT-3のパラメータ数は1750億（175B）、GPT-3.5は未公開ではあるものの3550億（355B）と推定されています。一方で、Llama 2は、700億（70B）パラメータで、GPT-3.5並をうたっています。

　パラメータが小さくなれば必要なGPUのメモリも小さくなります。GPT-3.5はデータセンターのサーバ用GPUで動かす前提ですが、Llama 2ならば自宅のローカルPCでも動作させられるかもしれません。ということで、「Text Generation web UI」を使って、Llama 2を試してみました。

自宅のPCでLLMを動かせるText Generation web UI

　Text Generation web UIは、各種大規模言語モデルをWebアプリ風のUIで簡単に使えるようにしてくれるツールです。画像生成AIのStable Diffusionでは、AUTOMATIC1111氏が開発した「Stable Diffusion web UI」が有名ですが、まさに同じような使い勝手でLLMを切り替えて文字生成を試せます。

Text Generation web UIのモデルタブ。Stable Diffusion web UIと同じような操作感で各種LLMを実行できる

　まずインストールですが、これはあっけないほど簡単でした。今回はマウスコンピュータからお借りしたクリエイティブ系ハイエンドPC「DAIV FX-A9G90」にインストールしていきます。まず配布されているGitHubのページで、ページ中央のあたりにあるOSごとのインストーラーをダウンロードして、zipを解凍します。展開されたフォルダは、C:\直下に置くと安心です。

　続いて、「start_windows.bat」を実行します。いろいろ警告も出ますが、強制的に実行します。インストールが進むとGPUの選択肢が出てきます。生成AI系ではNVIDIAのGPUがデファクトスタンダードになっており、インストールしようというPCにもNVIDIAのGPUが刺さっていることでしょう。DAIV FX-A9G90には、現状コンシューマー向け最高峰となる24GBのVRAMを備えた「GeForce RTX4090」が搭載されています。というわけでNVIDIAを選びます。

マウスコンピューターのクリエイティブ系PCのトップエンドモデル「DAIV FX-A9G90」。AIで最も重要となるグラフィックスカードに「GeForce RTX4090」を搭載する

　その後、ネットから各種ファイルを自動的にダウンロードしてくるのでしばらくは待ちです。回線環境などにもよりますが、20分ほどかかりました。一回このようにしてインストールしてしまえば、次回からはstart_windows.batを実行すれば、すぐに起動します。

　さて起動すると「Running on local URL: http://127.0.0.1:7860」と、Text Generation web UIのURLが表示されます。このURLをブラウザで開けば、次のようにWebUIが表示されます。StableDiffusion WebUIと同様で、本体はターミナルで動いているので、WebUIが起動してもターミナルを閉じてはいけません。