「Llama 3.1」の日本語追加学習モデル、サイバーエージェントが公開　SNSでは「爆速すぎる」の声

» 2024年07月26日 15時40分公開

　サイバーエージェントは7月26日、米Metaの最新AIモデル「Llama 3.1 70B」を使った新たな大規模言語モデル（LLM）を公開した。Llama 3.1 70Bをベースに、日本語データを追加学習させたもので、Hugging Face上で公開している。ライセンスはMetaの「Llama 3.1 Community License」に基づいており、商用利用可能だが、利用規約などに同意が必要となる。

　「Llama 3.1」シリーズはMetaが24日（現地時間）に公開した最新LLM。15兆トークンを超えるデータでトレーニングしたとしており、複数のベンチマークで米OpenAIのLLM「GPT-4o」や米AnthropicのLLM「Claude 3.5 Sonnet」より優れているという。

Llama 3.1と他モデルとのベンチマーク比較（Metaの公式Webサイトから引用）

　一方、Llama 3.1は日本語へのサポート体制が敷かれておらず、実際に利用した日本のユーザーからは「日本語性能はあまり高くない」などの意見がSNSで上がっていた。そんな中、サイバーエージェントが約2日で日本語学習モデルを公開したため「爆速すぎる」など、そのスピード感に驚きの声が上がっている。

サイバーエージェントのHugging Faceのページから引用

Meta、無料で商用可の「Llama 3.1」リリース　「世界最大かつ最も高性能なオープンモデル」
Metaは、“オープンソースの”LLMの最新版「Llama 3.1」を発表した。最大モデルは4050億（405B）のパラメータを持ち、米NVIDIAの1万6000個以上の「H100」でトレーニングした。AWSなどの環境で実行するために掛かるコストは、GPT-4oの約半分という。
仏Mistral AI、最新LLM「Mistral Large 2」を公開　コード生成で米Meta「Llama 3.1」と同程度の性能
フランスのAIスタートアップ・Mistral AIは、大規模言語モデル（LLM）「Mistral Large 2」を公開した。
サイバーエージェント、新たな日本語特化LLMを一般公開　「Llama-3-70B」と同等の日本語能力　商用利用も可
サイバーエージェントは、大規模言語モデル（LLM）「CyberAgentLM3」を一般公開した。225億パラメータの日本語AIモデルで、既存モデルをベースに使わずスクラッチで開発した。
Excelなどの“表計算ソフト専用”の大規模言語モデル　米Microsoftが「SpreadsheetLLM」発表
米Microsoftに所属する研究者らは、表計算ソフトを理解するための効率的な大規模言語モデルを提案した研究報告を発表した。
パナソニック、1000億パラメータの社内専用LLMを開発へ　AIスタートアップ・ストックマークと協業
パナソニックホールディングスは、パナソニックグループ専用大規模言語モデル（LLM）「Panasonic-LLM-100b」を開発すると発表した。AIスタートアップ企業のストックマーク（東京都港区）と協業し、開発していく。