初の“長考できる”国産LLM、どう開発? 「PLaMo 3.0 Prime」の資料公開、PFN
Preferred Networks(PFN)は4月5日、フルスクラッチで開発したLLM「PLaMo 3.0 Prime」β版の開発に関する資料を公開した。同モデルの開発手法の一部や、同社が国産LLMを開発する理由などを紹介している。
AIモデルの開発は、大量のテキストを学習させて言語能力を高める事前学習と、人間の求める出力を目指す事後学習に大きく分けられる。資料では、主に事後学習に焦点を当て、PLaMo 3.0 Primeのβ版の開発方法を解説している。
例えば、入力と正解となる出力の組み合わせをAIに学ばせる教師ありファインチューニングや、AIが試行錯誤しながらよりよい出力に改善する強化学習などに関する取り組みを紹介。加えて、長考によって質の高い出力をする推論(Reasoning)機能を最適化するための工夫なども挙げている。
また、資料ではPFNが国産LLMを開発する理由も説明している。PFNは、日本のAIモデルの性能は現時点で、米国や中国のモデルに及ばないとの認識を示す。一方、米国や中国のAIモデルを、今後も同条件で利用できるとは限らないと指摘する。AIの供給を他国に依存せず、国内で開発・運用する体制などのためにも、国産LLMが重要としている。
PLaMo 3.0 Primeのβ版は、PFNが3月19日に公開したAIモデル。既存のAIモデルを下敷きにせず、ゼロベースで構築した。国内で開発されたフルスクラッチモデルでは、初となる推論機能を備えている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
よく見られているカテゴリー
アクセスランキング
-
1
パランティアCEOがOpenAIやAnthropicを批判 「AIモデルを強化するためのデータをなぜ顧客が渡すのか」
-
2
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
3
「Claude Fable 5」をサブスクの標準機能に――AnthropicのエンジニアがXに投稿 7月8日以降の「早期復活目指す」
-
4
富裕層にいかに金を使わせる? ダイナースとニューオータニ「18万円超カード」の真意
-
5
マイクロン、AI需要で広島工場増強へ起工式 1.5兆円投資
-
6
AIで“ゲームキャラの出産二次創作”を何千回と生成する人も……ChatGPTの会話57万件から見えたヘビーな利用実態
-
7
「AIは依然として古い性能法則に従っている」 Tenstorrent Jim Keller氏
-
8
AIに「相手に電気ショックを与えろ」と命じ続けたらボタンを押すのか? 11のLLMで“ミルグラム実験” 抵抗できたのは……
-
9
ゲームエンジン「Godot」AI生成コードを原則禁止へ レビュアー疲弊「機械と話したくない」
-
10
「AIはもう十分賢い」 活用のボトルネックは「モデル性能」から「評価」へ 米データ基盤開発企業のAI研究者に聞く
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR