「大規模言語モデルの開発」に関するまとめ資料 東工大・岡崎教授が公開 全85ページ

[松浦立樹，ITmedia]

　東京工業大学情報理工学院の岡崎直観教授は5月30日、大規模言語モデル（LLM）の開発に関する現状や課題などをまとめた資料を公開した。28〜31日に開催する「第38回人工知能学会全国大会」の講演で使われた資料で全85ページ。スライド共有サービス「Speaker Deck」にて無料で公開している。

「大規模言語モデルの開発」

　この資料は、冒頭で「大規模言語モデルの概要」について紹介した後に「事前学習・継続事前学習」「指示（インストラクション）チューニング」「アライメント」「評価」をそれぞれ説明した全4部で構成している。

公開したい資料の一部（1/2）

公開したい資料の一部（2/2）

　岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。