ソフトバンクの生成AIは「1兆パラメーター目指す」と宮川社長 “蒸留”して「研ぎ澄まされたLLMに」

[芹澤隆徳，ITmedia]

　ソフトバンク子会社のSB Intuitionsが開発している国産大規模言語モデル（LLM）は、1兆パラメーター超えを目指す──ソフトバンクの宮川潤一社長が2月7日に開催した決算説明会（2024年3月期第3四半期）の中で明らかにした。

ソフトバンクの宮川潤一社長（公式動画より）

　同社は2023年10月に国内最大級の生成AI開発向け計算基盤の稼働とLLM開発の開始を発表した。宮川社長によると、開発中のLLMは23年12月末の時点で1300億パラメーターに達し、検証を実施しているという。

　当面の目標は「3900億パラメーターの構築。並行してLLMのマルチモーダル化も進める」。文書だけでなく、図表や符号、画像といった入力にも対応したLLMを2024年度中に完成させるという。

当面の目標は3900億パラメーターとマルチモーダル対応

　さらに「先の話」として、1兆超えのパラメーター数を目指すという。そこから“蒸留”とよばれる、パラメーター数の多いモデルの出力をより小さく軽量なモデルに学習させて計算効率を上げる手法を用い、適切なサイズのモデルを構築する考えだ。

　宮川社長は「最近では、1度大規模なモデルを作り、目的に合ったサイズまで最適化するというのが生成AI構築の潮流だ。われわれの生成AIもこれで作るため1兆パラメーターを目指すことにした」と説明。並行して計算基盤の拡張も行うとしている。

「われわれが目指しているのは、日本の商習慣や文化まで理解した生成AI。精度が高く、応答が早く、消費電力が少ない『研ぎ澄まされたLLM』にしたい」（宮川社長）

1兆パラメーターを目指す