Meta、独自大規模言語モデル(LLM)の「LLaMA」を限定リリース
Metaは独自の大規模言語モデル「LLaMA」(Large Language Model Meta AI)を研究者向けにリリースした。「ChatGPT」のLLM「GPT-3.5」よりも小規模でも高性能としている。
米Metaは2月24日(現地時間)、独自の大規模言語モデル(LLM)の「LLaMA」(Large Language Model Meta AI)をリリースすると発表した。研究者向けの限定リリースで、LLM分野の研究推進を支援するよう設計したものとしている。
LLMは、大量のテキストデータを使って訓練された深層学習アルゴリズム。米OpenAIのAIチャットサービス「ChatGPT」のエンジンとなっている「GPT-3.5」などが知られている。米Microsoftのチャットbot「新しいBing」が採用しているのは、GPTの“次世代LLM”とされている。
GPTは公開されてはいるが、利用するには大規模なインフラが必要だ。LLaMAは、そうした大規模インフラを利用できない研究者がLLMを研究できるように、小規模ながら性能の高いモデルとして開発したもの。ラベル付けされていない大量のデータでトレーニングされており、「多様なタスクの微調整に最適」という。
LLaMAは、パラメータの数の異なる4つのサイズ(7B、13B、33B、65B)で提供する。
研究者は小規模なLLMを研究ツールとして使うことで、例えばチャットbotがどのように偏見や有害性を持つようになるのか、偽情報をでっち上げてしまうのかなどを分析できる。
論文によると、13BサイズでもLLaMAはほとんどのベンチマークでGPT-3よりも性能が上という。65Bであれば、米Google系列のDeepMindのChinchilla70BやGoogleのPaLM 540Bに匹敵するとしている。
13Bであれば、米NVIDIAが」2018年に発売した「Tesla V100 GPU」でも実行できるという。
Metaは昨年8月、独自チャットbot「BlenderBot 3」を一般向けに公開し、現在も米国限定で稼働しているが、公開直後から差別的な発言をしてしまうなどで評判は良くない。
また、昨年11月には独自LLMの「Galactica」を研究者向けに公開したが、公開数時間後には多数の研究者がこのLLMが生成する誤りを指摘し、3日後には公開が停止された。
Metaは、「AIコミュニティ全体が協力し、責任あるAI全般、特に責任あるLLMに関する明確なガイドラインを作成すべきだと考えている。コミュニティがLLaMAを使って何を学び、何を構築するのかを楽しみにしている」と語った。
関連記事
- Microsoftの中の人、「新しいBing」のAIモデル「プロメテウス」を解説
Microsoftの「新しいBing」のAIモデル「プロメテウス」について、検索とAI担当CVPが解説した。OpneAIの次世代GPTとプロメテウスを組み合わせることで、最新の情報をチャットで提供できるようにしているという。 - 次世代LLM採用の「新しいBing」でチャットbotと話してみた
Microsoftが発表した新LLM「プロメテウス」採用の「新しいBing」を試してみた。日本語でチャットbotと会話できる。ChatGPTと異なり、最新の情報にも対応している。 - Google、OpenAIの「ChatGPT」競合「Bard」を限定公開
Googleは、「ChatGPT」と競合する“実験的な会話型AIサービス”の「Bard」の提供を開始する。まずは限定公開だが、「向こう数週間中により広く公開する」。また、Google検索にクエリにテキストで答える新AI機能を間もなく追加する。 - Meta、チャットボット育成のため「BlenderBot 3」を一般公開(「Tay問題」対策も)
Meta AIは、人間との自然に会話するbot構築を目指し、「BlenderBot 3」を一般公開した。かつてのMicrosoftの「Tay」が暴走した問題を踏まえ、対策も強化した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.