ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（2/3 ページ）

生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。Llama 2ならば自宅のローカルPCでも動作させられるかもしれません。ということで、Text Generation web UIを使って、Llama 2を試してみました。

[サイトウケンジ，ITmedia]

モデル名を入力すれば、自動的にダウンロード

　続いて、StableDiffusion WebUIで利用したいモデルをダウンロードするのと同様に、各種言語モデルのダウンロードが必要です。モデルのダウンロードには配布サイト「Hugging Face」を利用します。今回はまずサイバーエージェントが公開している「OpenCalm7B」（70億パラメータのLLM）を入れてみましょう。

　Hugging Faceにアクセスしたら上部の検索窓に「CyberAgent」と入力すると「cyberagent/open-calm-7b」がヒットします。ここでOpenCalm7Bが配布されているのですが、ダウンロードは必要ありません。ブランチ名にあたる「cyberagent/open-calm-7b」をコピーします。

　続いて、Text Generation web UIの「Model」タブを開き「Download custom model or LoRA」のフィールドに、「cyberagent/open-calm-7b」をペーストします。そして「Download」ボタンを押すと、必要なモデルがHugging Faceからダウンロードされます。ダウンロードが完了したら、「Model」名から「cyberagent/open-calm-7b」を選択し「Load」を押します。これだけでモデルの準備も整いました。

Text Generation web UIの「Model」タブ内にある「Download custom model or LoRA」に「cyberagent/open-calm-7b」を入れてダウンロードボタンを押せば、Hugging Faceからモデルがダウンロードされる

　モデルを導入したら「Text Generation」タブを開き、「Input」欄に言葉を入れて「Generate」を押します。すると、ChatGPTよろしくLLMとの対話が始まります。

OpenCalm7Bとのチャット。国産LLMだけあって流暢に日本語でやりとりできますが、デフォルトの状態ではあまり賢いとはいえません