Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース

[ITmedia]

　米Metaは2月24日（現地時間）、独自の大規模言語モデル（LLM）の「LLaMA」（Large Language Model Meta AI）をリリースすると発表した。研究者向けの限定リリースで、LLM分野の研究推進を支援するよう設計したものとしている。

　LLMは、大量のテキストデータを使って訓練された深層学習アルゴリズム。米OpenAIのAIチャットサービス「ChatGPT」のエンジンとなっている「GPT-3.5」などが知られている。米Microsoftのチャットbot「新しいBing」が採用しているのは、GPTの“次世代LLM”とされている。

　GPTは公開されてはいるが、利用するには大規模なインフラが必要だ。LLaMAは、そうした大規模インフラを利用できない研究者がLLMを研究できるように、小規模ながら性能の高いモデルとして開発したもの。ラベル付けされていない大量のデータでトレーニングされており、「多様なタスクの微調整に最適」という。

　LLaMAは、パラメータの数の異なる4つのサイズ（7B、13B、33B、65B）で提供する。

　研究者は小規模なLLMを研究ツールとして使うことで、例えばチャットbotがどのように偏見や有害性を持つようになるのか、偽情報をでっち上げてしまうのかなどを分析できる。

　論文によると、13BサイズでもLLaMAはほとんどのベンチマークでGPT-3よりも性能が上という。65Bであれば、米Google系列のDeepMindのChinchilla70BやGoogleのPaLM 540Bに匹敵するとしている。

　13Bであれば、米NVIDIAが」2018年に発売した「Tesla V100 GPU」でも実行できるという。

　Metaは昨年8月、独自チャットbot「BlenderBot 3」を一般向けに公開し、現在も米国限定で稼働しているが、公開直後から差別的な発言をしてしまうなどで評判は良くない。

　また、昨年11月には独自LLMの「Galactica」を研究者向けに公開したが、公開数時間後には多数の研究者がこのLLMが生成する誤りを指摘し、3日後には公開が停止された。

Galacticaのサイトは残っているが利用はできない

　Metaは、「AIコミュニティ全体が協力し、責任あるAI全般、特に責任あるLLMに関する明確なガイドラインを作成すべきだと考えている。コミュニティがLLaMAを使って何を学び、何を構築するのかを楽しみにしている」と語った。