ソフトバンクの生成AIは「1兆パラメーター目指す」と宮川社長 “蒸留”して「研ぎ澄まされたLLMに」
ソフトバンク子会社のSB Intuitionsが開発している国産大規模言語モデル(LLM)は、1兆パラメーター超えを目指す──ソフトバンクの宮川潤一社長が見通しを語った。
ソフトバンク子会社のSB Intuitionsが開発している国産大規模言語モデル(LLM)は、1兆パラメーター超えを目指す──ソフトバンクの宮川潤一社長が2月7日に開催した決算説明会(2024年3月期第3四半期)の中で明らかにした。
同社は2023年10月に国内最大級の生成AI開発向け計算基盤の稼働とLLM開発の開始を発表した。宮川社長によると、開発中のLLMは23年12月末の時点で1300億パラメーターに達し、検証を実施しているという。
当面の目標は「3900億パラメーターの構築。並行してLLMのマルチモーダル化も進める」。文書だけでなく、図表や符号、画像といった入力にも対応したLLMを2024年度中に完成させるという。
さらに「先の話」として、1兆超えのパラメーター数を目指すという。そこから“蒸留”とよばれる、パラメーター数の多いモデルの出力をより小さく軽量なモデルに学習させて計算効率を上げる手法を用い、適切なサイズのモデルを構築する考えだ。
宮川社長は「最近では、1度大規模なモデルを作り、目的に合ったサイズまで最適化するというのが生成AI構築の潮流だ。われわれの生成AIもこれで作るため1兆パラメーターを目指すことにした」と説明。並行して計算基盤の拡張も行うとしている。
「われわれが目指しているのは、日本の商習慣や文化まで理解した生成AI。精度が高く、応答が早く、消費電力が少ない『研ぎ澄まされたLLM』にしたい」(宮川社長)
関連記事
- ソフトバンク、3500億パラメーターの国産LLM構築へ 「国内最大級」生成AI計算基盤、稼働スタート
ソフトバンクは、「国内最大級」の生成AI開発用計算基盤の稼働を始めたと発表した。 - NTT、大規模言語モデル「tsuzumi」開発 24年3月に商用サービス提供へ
NTTは、独自の大規模言語モデル「tsuzumi」を開発したと発表した。2024年3月に商用サービスとして提供を始める。 - 「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明 目指すのは“GPT-3級の日本語LLM”
「世界トップレベルの大規模言語モデル(LLM)の開発を始める」──産業技術総合研究所は、そんな声明を発表した。 - 国産LLMに約8.8億円投資 AWSジャパンに狙いを聞いた
国産LLMに約8.8億円投資を投資するAWSジャパン。同社の狙いを聞いた。 - ソニー「aiboの里親」募集開始 寄付されたaiboを再生して施設へ
ソニーは6日、犬型ロボット「aibo」の“里親”募集を始めた。オーナーから寄付されたaiboを再生し、導入を希望する医療機関や介護団体に提供する試み。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.