Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に

[ITmedia]

　米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。

　昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル（こちらはまだ公開されていない）のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。

　トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されている。データは「公開されているソースから収集された15兆以上のトークン」でトレーニングしたという。

　また、トレーニング後の手順の改善により、誤った拒否率（特に問題のない質問でも問題があると判断して回答を拒否する率）が大幅に減り、モデルの応答の多様性が増加したとしている。さらに、推論、コード生成、命令などの機能が大幅に向上したという。

　Metaによると、Llama 3 8B（80億モデル）は、MMLU、ARC、DROP、GPQAの少なくとも9つのベンチマークで、仏MistralのMistral 7Bや米GoogleのGemma 7Bなどの他のオープンモデルを上回るという。70Bモデルは、GoogleのGemini 1.5 ProとAnthropicのClaude 3よりも一部のベンチマークでハイスコアだったという。

ベンチマーク結果

　Metaは同日、Llama 3で構築したAIアシスタント「Meta AI」をInstagramなど同社のサービスでロールアウトした（日本はまだ）。

　また、将来的にはAMD、AWS、Dell、Intel、NVIDIA、Qualcommが提供するハードウェアプラットフォームでも利用可能になる見込みだ。

　Metaは「Llama 3を多言語かつマルチモーダルにし、より長いコンテキストをもたせ、推論やコーディングなどの機能全体のパフォーマンスを向上捺せ続けることが目標だ」と語った。