ラズパイで動く大規模言語モデルがGitHubで公開 性能は“GPT-3相当”、Metaの「LLaMA」派生

Raspberry Pi上で動かせる、GPT-3相当のLLM（大規模言語モデル）「Alpaca LoRA」がGitHub上で公開された。

[松浦立樹，ITmedia]

　Raspberry Pi上で動かせる、GPT-3相当の大規模言語モデル（LLM）「Alpaca LoRA」がGitHub上で公開された。米MetaのLLM「LLaMA」の派生モデル「Stanford Alpaca」を再現できるという。

GPT-3相当の大規模言語モデル「Alpaca LoRA」がGitHubで公開

　米国のIT技術者であるアルテム・アンドレネコ（＠miolini）さんは3月13日、LLaMAの7Bモデルを「Raspberry Pi 4」で動かせるか検証したところ、超低速ながら稼働したと報告。1トークン当たり10秒という超低速スピードであるが「安価なハードウェアで強力なコグニティブ・パイプライン（※AIパーツの1種）を実行することができそうだ」と今後に期待を寄せるコメントをしている。

Raspberry Pi 4

　アンドレネコさんが紹介したと思われるのは、米スタンフォード大学が公開したLLM「Stanford Alpaca」を再現したという「Alpaca LoRA」。単一のGPU「RTX 4090」で5時間ほど学習させることで利用可能で、Raspberry Pi上で動かせるほど軽量なのが特徴という。GitHubからアンドレネコさんの報告ツイートへのリンクが設定されていることから、アンドレネコさんが実際に稼働するか検証したと思われる。

アンドレネコさんのツイート

　LLaMAは米Metaが独自開発した大規模言語モデル。LLM分野の研究推進を支援するため、研究者向けに2月にリリースした。大規模インフラを利用できない研究者のために小規模ながら性能の高いことが特徴で、7B（＝70億）、13B、33B、65Bの4種類のパラメーターを用意している。13Bモデルはベンチマークで米OpenAIのLLM「GPT-3」を上回るという。

　米スタンフォード大学は、LLaMAの7Bモデルを派生させ独自のLLM「Stanford Alpaca」を開発。このモデルは研究や学術目的でのみ利用でき、娯楽や商用での利用は禁止している。Alpaca LoRAでは、Stanford Alpacaが生成するトークン（単語列）を再現できるという。