「富岳」で大規模言語モデル開発へ 分散並列学習法を研究 成果はGitHubなどで公開予定

理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」で大規模言語モデルの分散並列学習手法の研究を始める。

[ITmedia]

　理化学研究所と富士通、東京工業大学、東北大学は5月22日、スーパーコンピュータ「富岳」で大規模言語モデルの分散並列学習手法の研究を始めると発表した。

富岳

　大量のデータを効率的に処理する計算資源を確保するために富岳を活用する。研究は東京工業大学が全体総括を担当し、東北大学が学習用データの収集、理化学研究所が並列化や通信の高速化、大規模言語モデルの高速化は東北大学以外が担う。

　研究期間は24日から2024年3月31日まで。研究結果は24年度にGitHubやHugging Faceで公開する予定。今後は名古屋大学やサイバーエージェントとの連携も検討するという。