Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に

公開 2024年04月19日 09時30分

更新 2024年04月19日 17時53分

[ITmedia]

印刷する Googleで優先するソースとして追加

　米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。

　昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル（こちらはまだ公開されていない）のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。

　トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されている。データは「公開されているソースから収集された15兆以上のトークン」でトレーニングしたという。

　また、トレーニング後の手順の改善により、誤った拒否率（特に問題のない質問でも問題があると判断して回答を拒否する率）が大幅に減り、モデルの応答の多様性が増加したとしている。さらに、推論、コード生成、命令などの機能が大幅に向上したという。

　Metaによると、Llama 3 8B（80億モデル）は、MMLU、ARC、DROP、GPQAの少なくとも9つのベンチマークで、仏MistralのMistral 7Bや米GoogleのGemma 7Bなどの他のオープンモデルを上回るという。70Bモデルは、GoogleのGemini 1.5 ProとAnthropicのClaude 3よりも一部のベンチマークでハイスコアだったという。