「大規模言語モデルの開発」に関するまとめ資料　東工大・岡崎教授が公開　全85ページ

　東京工業大学情報理工学院の岡崎直観教授は5月30日、大規模言語モデル（LLM）の開発に関する現状や課題などをまとめた資料を公開した。28～31日に開催する「第38回人工知能学会全国大会」の講演で使われた資料で全85ページ。スライド共有サービス「Speaker Deck」にて無料で公開している。

　この資料は、冒頭で「大規模言語モデルの概要」について紹介した後に「事前学習・継続事前学習」「指示（インストラクション）チューニング」「アライメント」「評価」をそれぞれ説明した全4部で構成している。

　岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。

この記事の著者

関連記事

• 

  生成AIを巡る日本の現状は？　東大・松尾教授の考察資料が無料公開　「1年間、日本は最善手を指し続けている」

• 

  “大は小を兼ねない”生成AI　注目集める「小規模言語モデル」（SLM）　そのメリットとは？

• 

  「AIチャットbotを作りたいけど、どんなリスクがあるの？」　デジタル庁、テキスト生成AIのガイドブック（α版）を公開

• 

  「もうAIって人間と区別つかないよね……」　米研究者らがGPT-4などでチューリングテスト　結果は？

• 

  「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入すると失敗に？　日本語特化のELYZA・曽根岡CEOに聞く、LLM開発＆活用のいま