ITmedia AI＋
生成AI
ソフトバンク、4600億パラメータの日本語特化LLMを公開　「日本でも大規模なAI作れると証明」

ソフトバンク、4600億パラメータの日本語特化LLMを公開　「日本でも大規模なAI作れると証明」

公開 2024年11月08日 19時07分

[ITmedia]

印刷する Googleで優先するソースとして追加

　ソフトバンクは11月8日、4600億パラメータの大規模言語モデル（LLM）「Sarashina2-8x70B」を公開した。国内で開発しており、日本語に特化したモデルだという。2025年3月期第2四半期の決算説明に登壇した宮川潤一CEOは「日本でも大規模なAIを作れると証明した」と語った。

ソフトバンク、4600億パラメータの日本語特化LLMを公開

　開発を担当したグループ会社・SB Intuitionsによると、Sarashina2-8x70Bは、複数のエキスパートモデル（特定の作業に強みを持つ小型モデル）を組み合わせ、より高い推論性能を実現する手法「Mixture of Experts」で開発。自然言語処理で使われるトランスフォーマーにおいて、8個のエキスパートモデルを使って訓練したという。

　今回公開したのは、指示チューニングを施していない事前学習モデル。「人間の意図に沿った出力を行うようにチューニングを行ったものではないため、そのまま実用的なサービスに供することはできない」としている。研究開発の促進が目的のため、商用利用はできない。なお詳細は後日発表するとしている。

「1兆パラメータまで持っていける」発言も

　Sarashina2-8x70Bを開発した背景について、ソフトバンクの宮川潤一社長執行役員兼CEOは「日本も4000億パラメータを超えるAIを作れると証明したかった」と語った。

宮川潤一社長執行役員兼CEO

　「急に米OpenAIの『o1』に肩を並べるところまで行くとは思わない。けれど米Metaの『Llama 3』と同じくらいのパラメータ数のAIを作った。日本の企業だからAIを作ることはできないとか、アメリカと比べて日本は劣後しているとか、そうじゃないことを示したかった」（宮川CEO）

　今後の展開についても言及。「2025年度には商用展開できるよう準備を進めていく」と説明した。

　「10月末にはNVIDIAの『H100』を使った計算基盤が稼働。GPUが約6000機で稼働することになり、計算能力も従来の5倍になった。25年度上半期には、1万機まで増やす計画だ。これらを使ってLLMへの追加学習を加速させていく」（宮川CEO）として、「1兆パラメータまで持っていける」とさらなる目標を掲げた。

印刷する