「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明　目指すのは“GPT-3級の日本語LLM”

» 2023年10月18日 12時49分公開

[松浦立樹，ITmedia]

　産業技術総合研究所は10月17日、世界トップレベルの大規模言語モデル（LLM）の開発を始めると発表した。産総研の他にも東京工業大学や、国立情報学研究所が主宰するLLM研究開発チーム「LLM-jp」（東北大学や東京大学、早稲田大学などが参加）も加わる。

産総研、東京工業大学、LLM-jpが協力して大規模言語モデルの研究開発

　LLM-jpが従来の国産LLMの10倍の規模を持つとされるパラメータ数1750億のLLMの構築に着手。産総研は、LLM構築に必要な計算資源として「AI橋渡しクラウド」（ABCI）を提供する。また、3機関で協力して開発に必要な言語データの作成も行う。

　産総研は「この取り組みによって、日本で初めてのオープンに利用できるGPT-3級の日本語LLMの構築を目指す」と説明。「これによって、構築の過程が明らかで透明性の高いLLMを用いた、マルチモーダル（画像や言語など複数の入力ソースを扱えること）なデータを処理するAI技術の開発や、生成AIのロボット応用などに貢献する」と続けた。

　構築した国産LLMは完成後、LLM-jpを通じて公開する予定。

なぜ日本はGPUのない「富岳」でLLMを研究するのか　外国に後れを取らないための“現実的な理由”
日本では今、スパコン「富岳」を使ってLLMの研究・開発を進めている。深層学習においてはGPUを使うのが一般的だが、なぜGPUのない富岳を使うのか。そこには現実的な理由があった。
産総研「覚醒プロジェクト」始動　独創的な研究に300万円支援、一線の研究者によるサポートも
AIなど「ディープテック」分野で、独創的な発想や優れた技術アイデアを研究する若手人材を支援する「覚醒プロジェクト」を産総研が始めた。
CTC、rinnaと協業　企業専用生成AIの構築支援を拡充
伊藤忠テクノソリューションズは、コミュニケーションAI「りんな」を提供するrinnaと協業すると発表した。
相模原市、国産生成AIを導入へ　「自治体では初」　NECと共同検証
相模原市は、国産生成AIを業務に導入する方針を発表した。NECと協定を結び、同社開発の生成AIの共同検証を行う。
PFNが生成AI新会社「Preferred Elements」設立へ　130億パラメータの和製LLMもオープンソースで公開
AIベンチャーのPreferred Networks（PFN）は、生成AI事業に関する新子会社「Preferred Elements」を11月1日に設立すると発表した。併せて、研究・商用利用が可能な、130億パラメータの事前学習済み大規模言語モデル（LLM）「PLaMo-13B」も公開した。