LLMはどこまで『国産』であるべきか？：

「フルスクラッチ開発」って何？──LLMを“骨格”と“筋肉”に例えて国産モデルの現在地を整理する（2/2 ページ）

どの部分が国産か？

　このような比喩を踏まえると、LLMの開発段階や手法として次のように整理できることも腑に落ちるのではないだろうか。

• アーキテクチャにも手を入れ、ウェイトをフルスクラッチ（骨格に手を入れつつ筋肉を自分たちで基礎から鍛える）
• 既存アーキテクチャでウェイトをフルスクラッチ（既存の骨格を使い、筋肉を自分たちで基礎から鍛える）
• 学習済みモデルを追加学習（骨格も筋肉も大体できたものを、目的に合わせてさらに鍛える）

　開発難易度でいえば基本的には上に行くほど難しい。ただし「難しいことをしているから良い」というわけではなく、大事なのはそのLLM開発が何を達成するためのものか、という目的の部分だ。

　例えば「より流暢な日本語テキストを生成する」のが目的なら、学習済みモデルを追加学習するのが比較的低コストな開発手段となりうる。ただし“追加で鍛える”といっても段階はさまざまで、野球のバッティングフォームを修正する程度のものもあれば、全く異なる競技に挑戦するようなものもある。

　「学習データの由来を管理して説明可能にしたい」のであれば既存アーキテクチャからのフルスクラッチ開発が選択肢となるが、ゼロから学習して性能を引き出せるまでにするには、データセットはもちろん大量の計算資源も必要となる。LLM開発ベンダーが我先にとGPUを確保する理由でもあるので、ある程度以上の規模のLLMをフルスクラッチ開発できる企業は必然と限られる。

　「もっと少ない計算で速く動かしたい」「長い文章をうまく扱いたい」など、既存の骨格では実現しにくい特徴を狙うなら、アーキテクチャそのものにも手を入れる。ただし、同じ設計で大規模に学習した前例が少ないほど、どこまで性能が伸びるかは読みにくくなる。

　また、いずれの段階においても“国産性”が関わる部分として「学習に使うデータセット」が挙げられる。英語圏のLLM開発に使われるデータセットの大部分は英語のデータであり、日本語が占める割合は小さい。日本向けの開発として日本語性能の向上が求められるなら、必然的に日本語でできたデータセットの投入が必要となる。

国内LLMはそれぞれどこに当たるのか

　では国内の企業や研究機関が発表しているLLMが、それぞれどこに位置するのかを例示してみよう。なお、モデルの詳しい情報が公開されていないものは除外している（NTTのtsuzumiなど）。

アーキテクチャにも手を入れ、ウェイトをフルスクラッチ

• PLaMo 2／3（PFNグループ。PLaMo 3はNICTとの共同）

既存アーキテクチャでウェイトをフルスクラッチ

• CyberAgentLM3（CyberAgent）
• LLM-jpの基盤モデル（NII主宰）
• Sarashina 1／2（SB Intuitions、ただしSarashina 3はアーキテクチャが不明）
• Stockmark-100B（ストックマーク）

学習済みモデルを追加学習

• Llama-3-ELYZA-JP（ELYZA）
• Rakuten AI 7B（楽天）
• リコーLLMシリーズ（リコー）
• Swallow LLM（東京科学大学・産業技術総合研究所など）
• Takane（富士通）

---

　補足すると、「追加学習」にも大規模なデータセットを使って専門知識などの追加獲得を目指すもの（継続事前学習）から、特定用途に沿わせるための微調整まで幅がある。上記に挙げているのは基本的に前者だ。また、ここで触れられていない開発手法としては「蒸留」や「進化的モデルマージ」などがあるが、話が複雑になってくるので割愛する。

　なお、ここまで見てきたのは、あくまで「モデルをどう作ったか」という観点での国産性だ。実際に企業が利用する際には、どこのデータセンターで動かすのか、入力データを誰が管理するのか、誰がモデルを更新できるのかといった「運用の国産性」も別の軸として重要になる。

　次回の記事では、PFNに「国産LLMの必要性」についてインタビューする。

この記事の著者

関連記事

• 

  NPUだけでOpenAIのLLM「gpt-oss」が動く！　速度や消費電力を計測してみた

• 

  AIは「大きい」より「小さい」方がいい──AIエージェントの開発手法、米NVIDIAが主張　LLMをSLMに移行する技術も掲載

• 

  富士通、LLMの軽量化技術を発表　1ビット量子化でも約9割の精度を維持　3倍に高速化も

• 

  “特化LLM”乱れ咲き──意外と知らない中国AI事情　日系企業の現地法人に求められる選定判断とは