初の“長考できる”国産LLM、どう開発? 「PLaMo 3.0 Prime」の資料公開、PFN
Preferred Networks(PFN)は4月5日、フルスクラッチで開発したLLM「PLaMo 3.0 Prime」β版の開発に関する資料を公開した。同モデルの開発手法の一部や、同社が国産LLMを開発する理由などを紹介している。
AIモデルの開発は、大量のテキストを学習させて言語能力を高める事前学習と、人間の求める出力を目指す事後学習に大きく分けられる。資料では、主に事後学習に焦点を当て、PLaMo 3.0 Primeのβ版の開発方法を解説している。
例えば、入力と正解となる出力の組み合わせをAIに学ばせる教師ありファインチューニングや、AIが試行錯誤しながらよりよい出力に改善する強化学習などに関する取り組みを紹介。加えて、長考によって質の高い出力をする推論(Reasoning)機能を最適化するための工夫なども挙げている。
また、資料ではPFNが国産LLMを開発する理由も説明している。PFNは、日本のAIモデルの性能は現時点で、米国や中国のモデルに及ばないとの認識を示す。一方、米国や中国のAIモデルを、今後も同条件で利用できるとは限らないと指摘する。AIの供給を他国に依存せず、国内で開発・運用する体制などのためにも、国産LLMが重要としている。
PLaMo 3.0 Primeのβ版は、PFNが3月19日に公開したAIモデル。既存のAIモデルを下敷きにせず、ゼロベースで構築した。国内で開発されたフルスクラッチモデルでは、初となる推論機能を備えている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
個人向けGeminiのモデル選択が厳格化 無料ユーザーが使えるのは「Flash-Lite」のみに
-
2
「OpenAIの文化は壊れている」──安全性報告書を統括した従業員が退社し、寄稿
-
3
トランプ大統領、「Super Intelligence Force」創設を発表 国家情報長官やFTC委員長らが主導
-
4
国産AI「LLM-jp-4」ベースのAIモデル、KDDI傘下のELYZAが無料公開
-
5
総額2.3兆円、千葉市に巨大な「AIデータセンター」建設へ 発電大手JERA参画の“ドリームチーム”、勝機どうつかむ?
-
6
人手不足だからAIを使いたい、でも導入できる人がいない 中小企業“一人情シス”の葛藤
-
7
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
8
「現場任せのAI活用」が失敗するこれだけの理由 経営層がすべき“頭の中”の言語化とは
-
9
Amazon、データセンター批判に反論 10億ドル超の地域支援策も発表
-
10
Google「AI Plus」4割値下げ、月725円に ストレージ倍増、価格攻勢でシェア拡大へ
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR