初の“長考できる”国産LLM、どう開発？ 「PLaMo 3.0 Prime」の資料公開、PFN

Preferred Networksは、フルスクラッチで開発したLLM「PLaMo 3.0 Prime」β版の開発に関する資料を公開した。同モデルの開発手法の一部や、同社が国産LLMを開発する理由などを紹介している。

[ITmedia]

　Preferred Networks（PFN）は4月5日、フルスクラッチで開発したLLM「PLaMo 3.0 Prime」β版の開発に関する資料を公開した。同モデルの開発手法の一部や、同社が国産LLMを開発する理由などを紹介している。

PFNが公開した資料（出典：公開資料、以下同）

　AIモデルの開発は、大量のテキストを学習させて言語能力を高める事前学習と、人間の求める出力を目指す事後学習に大きく分けられる。資料では、主に事後学習に焦点を当て、PLaMo 3.0 Primeのβ版の開発方法を解説している。

　例えば、入力と正解となる出力の組み合わせをAIに学ばせる教師ありファインチューニングや、AIが試行錯誤しながらよりよい出力に改善する強化学習などに関する取り組みを紹介。加えて、長考によって質の高い出力をする推論（Reasoning）機能を最適化するための工夫なども挙げている。

事後学習に関する取り組みの一部（1/3）

事後学習に関する取り組みの一部（2/3）

事後学習に関する取り組みの一部（3/3）

　また、資料ではPFNが国産LLMを開発する理由も説明している。PFNは、日本のAIモデルの性能は現時点で、米国や中国のモデルに及ばないとの認識を示す。一方、米国や中国のAIモデルを、今後も同条件で利用できるとは限らないと指摘する。AIの供給を他国に依存せず、国内で開発・運用する体制などのためにも、国産LLMが重要としている。

国産LLMが重要と指摘

　PLaMo 3.0 Primeのβ版は、PFNが3月19日に公開したAIモデル。既存のAIモデルを下敷きにせず、ゼロベースで構築した。国内で開発されたフルスクラッチモデルでは、初となる推論機能を備えている。