ニュース
「大規模言語モデルの開発」に関するまとめ資料 東工大・岡崎教授が公開 全85ページ
東京工業大学情報理工学院の岡崎直観教授は、大規模言語モデル（LLM）の開発に関する現状や課題などをまとめた資料を公開した。
東京工業大学情報理工学院の岡崎直観教授は5月30日、大規模言語モデル（LLM）の開発に関する現状や課題などをまとめた資料を公開した。28〜31日に開催する「第38回人工知能学会全国大会」の講演で使われた資料で全85ページ。スライド共有サービス「Speaker Deck」にて無料で公開している。
この資料は、冒頭で「大規模言語モデルの概要」について紹介した後に「事前学習・継続事前学習」「指示（インストラクション）チューニング」「アライメント」「評価」をそれぞれ説明した全4部で構成している。
岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
生成AIを巡る日本の現状は？ 東大・松尾教授の考察資料が無料公開 「1年間、日本は最善手を指し続けている」
内閣府は5月23日、22日に開催した「第9回 AI戦略会議」で取り扱った資料を公開した。公開したのは、AI研究の権威として知られる東京大学の松尾豊教授が作成した「生成AIの産業における可能性」と題した全33ページの資料など。
“大は小を兼ねない”生成AI 注目集める「小規模言語モデル」（SLM） そのメリットとは？
先日行われた、米Microsoftの開発者向けイベント「Microsoft Build 2024」の目玉の一つだった「SLM」（Small Language Model）。そもそもSLMとは何か？ 何が期待されているのか？ SLMの基本を整理する。
「AIチャットbotを作りたいけど、どんなリスクがあるの？」 デジタル庁、テキスト生成AIのガイドブック（α版）を公開
デジタル庁は、ChatGPTなどのテキスト生成AIサービス利用時のリスクや、その対策方法などをまとめたガイドブックを公開した。
「もうAIって人間と区別つかないよね……」 米研究者らがGPT-4などでチューリングテスト 結果は？
米カリフォルニア大学サンディエゴ校に所属する研究者らは、AIが人間と区別がつかないレベルに達しているかどうかを調べるために、チューリングテストを実施した研究報告を発表した。
「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入すると失敗に？ 日本語特化のELYZA・曽根岡CEOに聞く、LLM開発＆活用のいま
GPT-3.5と同水準の日本語特化型LLMを開発したELYZA。4月にはKDDIグループの傘下となり、注目を集めている。日本語性能トップクラスのLLMをどう作っているのか。KDDI傘下になったのはどんな狙いが？ LLM活用でいま注目のポイントは？ 気になることを、曽根岡侑也CEOにインタビューした。