ITmedia NEWS > AI+ >
ITmedia AI+ AI活用のいまが分かる

ChatGPT(3.5)に匹敵する「Llama 2」をローカルPCで動かしてみた(2/3 ページ)

» 2023年07月31日 09時00分 公開

モデル名を入力すれば、自動的にダウンロード

 続いて、StableDiffusion WebUIで利用したいモデルをダウンロードするのと同様に、各種言語モデルのダウンロードが必要です。モデルのダウンロードには配布サイト「Hugging Face」を利用します。今回はまずサイバーエージェントが公開している「OpenCalm7B」(70億パラメータのLLM)を入れてみましょう。

 Hugging Faceにアクセスしたら上部の検索窓に「CyberAgent」と入力すると「cyberagent/open-calm-7b」がヒットします。ここでOpenCalm7Bが配布されているのですが、ダウンロードは必要ありません。ブランチ名にあたる「cyberagent/open-calm-7b」をコピーします。

 続いて、Text Generation web UIの「Model」タブを開き「Download custom model or LoRA」のフィールドに、「cyberagent/open-calm-7b」をペーストします。そして「Download」ボタンを押すと、必要なモデルがHugging Faceからダウンロードされます。ダウンロードが完了したら、「Model」名から「cyberagent/open-calm-7b」を選択し「Load」を押します。これだけでモデルの準備も整いました。

Text Generation web UIの「Model」タブ内にある「Download custom model or LoRA」に「cyberagent/open-calm-7b」を入れてダウンロードボタンを押せば、Hugging Faceからモデルがダウンロードされる

 モデルを導入したら「Text Generation」タブを開き、「Input」欄に言葉を入れて「Generate」を押します。すると、ChatGPTよろしくLLMとの対話が始まります。

OpenCalm7Bとのチャット。国産LLMだけあって流暢に日本語でやりとりできますが、デフォルトの状態ではあまり賢いとはいえません

Copyright © ITmedia, Inc. All Rights Reserved.