ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた（3/3 ページ）

公開 2023年07月31日 09時02分

更新 2024年04月02日 11時08分

[ITmedia]

印刷する Googleで優先するソースとして追加

Llama 2を導入する

　では本丸のLlama2に進みましょう。Llama 2もHugging Faceからダウンロードできますが、ライセンス条項への同意と使用許可ポリシーへの同意が必要です。MetaのWebサイトでの登録のほか、同じメールアドレスでHugging Faceにログインする必要があります。数日以内に確認が終わり、Metaからメールが来たら、モデルがダウンロードできるようになります。

Llama 2のダウンロードには、Hugging Faceにログインしたのと同じメールアドレスで、Metaに登録する必要がある

　公式Llama 2 についてはText Generation web UIのダウンロードボタンからではうまくダウンロードできなかったので、Hugging Faceから直接ダウンロードして「models」フォルダ内に「Llama2」フォルダを作って格納してみました。しかし残念ながらこの方法ではうまくモデルを認識できないようで、ロードに失敗してしまいます。

　そこでLlama 2をベースにしたモデルを導入してみることにします。Llamaは学術利用のみでしたが、Llama 2は商用利用も可能だということで、早くもハッカーたちがカスタマイズを行っており、複数のチューニングされたモデルがHugging Faceにもアップロードされています。

　今回はその中でもトム・ジョビンス氏（TheBloke）による「TheBloke/Llama-2-13B-chat-GGML」を選択しました。こちらは認証が不要なので、Text Generation web UIの「Download custom model or LoRA」のフィールドにブランチ名を入力してダウンロードすれば、そのまま利用できます。

TheBlokeによる各種モデルをダウンロードできるHugging Faceのページ

　Llama-2-13B-chat-GGMLは、サイズは13Bとかなり小さいのですが、それでもちゃんと対話が成り立っています。ところどころに日本語が登場しているのも、なかなかです。

　GGML版はGPUを使わずとも推論できるように改変したモデルなので、GPU負荷もほとんどありません。続いて4bit量子化を行いサイズを縮小したLlama-2-13B-chat-GPTQも試してみました。こちらは生成時にGPUを100％使って回答してくれます。VRAMは14.1GBを使用していました。とはいえ、CPUにCore i9を搭載したDAIV FX-A9G90では、CPU処理とGPU処理の速度の違いは感じませんでした。

13BサイズのLlama 2は、日本語で話しかけても英語で答えてしまうことが多いのですが、日本語は理解していて、まっとうなやり取りを返してきます

手元でLLMが動く時代

　わずか1年前には、人間と見過うほどの会話を実現するソフトウェアが登場するとは、夢にしか感じませんでした。ところが2022年11月のChatGPTの登場以降、すべてのベースが変わってしまいました。今や、コンピュータが流暢に言葉を操るのは当たり前のことで、試験問題を読んでそれに正しい解答を出すことさえ普通にこなします。

　16年、東大合格を目指したAIプロジェクト「東ロボくん」は、「AIが試験問題をまるで解いているように見えるので、AIには知能があると一般人に誤解されていた」といわれましたが、今となっては「そもそも知能とは何なのか」を改めて議論する段階に来ているのかもしれません。

　そして今起きているのは、ChatGPT並のLLMが手元のPCで動き始めているという革新です。規模の違いもあり、クオリティではまだだまChatGPTにかないませんが、登場当初のChatGPTに相当するものがローカルPCで動くのには驚愕です。

　そして、Stable Diffusionが画像生成AIにおいて、ユーザーに自由をもたらしたのと同じように、Llama 2に代表されるオープンソース系LLMは、チャットAIにおける民主化のきっかけになるのではないでしょうか。