PFNが生成AI新会社「Preferred Elements」設立へ 130億パラメータの和製LLMもオープンソースで公開

AIベンチャーのPreferred Networks（PFN）は、生成AI事業に関する新子会社「Preferred Elements」を11月1日に設立すると発表した。併せて、研究・商用利用が可能な、130億パラメータの事前学習済み大規模言語モデル（LLM）「PLaMo-13B」も公開した。

[松浦立樹，ITmedia]

　AIベンチャーのPreferred Networks（PFN）は9月28日、生成AI事業に関する新子会社「Preferred Elements」を11月1日に設立すると発表した。マルチモーダル（画像や言語など複数の入力ソースを扱えること）な基盤モデル（大量のデータでトレーニングし、さまざまなタスクに適応可能な大規模モデル）の開発強化が目的。

Preferred Networksの公式Webサイト

　Preferred ElementsはPFNの共同創業者で最高研究責任者を務める岡野原大輔さんが取締役社長を務める。本社はPFNと同じ東京都千代田区に構え、2024年中に基盤モデルの開発と、商用サービス提供を目指す。「LLMの課題である偽情報（ハルシネーション）やバイアス、悪用リスクへの対策、事前学習用データの作成・収集に関して、国・大学・企業とも連携を深め、社会インフラとして活用するための安全性を備えた基盤モデルの開発につなげる」（PFN）

　併せて、研究・商用利用が可能な、130億パラメータの事前学習済み大規模言語モデル（LLM）「PLaMo-13B」も公開した。PLaMo-13Bは、現在公開中の同規模のパラメータ数の事前学習済み言語モデルと比べたとき、LLMのベンチマーク評価（lm-evaluation-harness）において、日英2言語を合わせた能力で世界トップレベルの高い性能を示しているという。PLaMo-13BのソースコードとパラメータのライセンスはApache License 2.0で、研究・商用利用が可能。

日英2言語での性能比較

　PFNは「PLaMo-13Bの開発に当たり、学習に使用可能なオープンデータセットを独自に収集・加工し、1.4兆トークンの日英2言語のデータセットを作成した」と説明。産業技術総合研究所のAI向け計算インフラ「AI橋渡しクラウド」の「NVIDIA A100」を480基使って、1カ月弱の学習を行った。

LLMのベンチマーク結果（公式ブログから引用）