ソフトバンクの生成AIは「1兆パラメーター目指す」と宮川社長　“蒸留”して「研ぎ澄まされたLLMに」

　ソフトバンク子会社のSB Intuitionsが開発している国産大規模言語モデル（LLM）は、1兆パラメーター超えを目指す──ソフトバンクの宮川潤一社長が2月7日に開催した決算説明会（2024年3月期第3四半期）の中で明らかにした。

　同社は2023年10月に国内最大級の生成AI開発向け計算基盤の稼働とLLM開発の開始を発表した。宮川社長によると、開発中のLLMは23年12月末の時点で1300億パラメーターに達し、検証を実施しているという。

　当面の目標は「3900億パラメーターの構築。並行してLLMのマルチモーダル化も進める」。文書だけでなく、図表や符号、画像といった入力にも対応したLLMを2024年度中に完成させるという。

　さらに「先の話」として、1兆超えのパラメーター数を目指すという。そこから“蒸留”とよばれる、パラメーター数の多いモデルの出力をより小さく軽量なモデルに学習させて計算効率を上げる手法を用い、適切なサイズのモデルを構築する考えだ。

　宮川社長は「最近では、1度大規模なモデルを作り、目的に合ったサイズまで最適化するというのが生成AI構築の潮流だ。われわれの生成AIもこれで作るため1兆パラメーターを目指すことにした」と説明。並行して計算基盤の拡張も行うとしている。

「われわれが目指しているのは、日本の商習慣や文化まで理解した生成AI。精度が高く、応答が早く、消費電力が少ない『研ぎ澄まされたLLM』にしたい」（宮川社長）

この記事の著者

関連記事

• 

  ソフトバンク、3500億パラメーターの国産LLM構築へ　「国内最大級」生成AI計算基盤、稼働スタート

• 

  NTT、大規模言語モデル「tsuzumi」開発　24年3月に商用サービス提供へ

• 

  「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明　目指すのは“GPT-3級の日本語LLM”

• 

  国産LLMに約8.8億円投資　AWSジャパンに狙いを聞いた

• 

  ソニー「aiboの里親」募集開始　寄付されたaiboを再生して施設へ