「フルスクラッチ開発」って何？──LLMを“骨格”と“筋肉”に例えて国産モデルの現在地を整理する（2/2 ページ）

公開 2026年08月05日 10時16分

更新 2026年08月18日 10時03分

著者

井上輝一

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

どの部分が国産か？

　このような比喩を踏まえると、LLMの開発段階や手法として次のように整理できることも腑に落ちるのではないだろうか。

アーキテクチャにも手を入れ、ウェイトをフルスクラッチ（骨格に手を入れつつ筋肉を自分たちで基礎から鍛える）
既存アーキテクチャでウェイトをフルスクラッチ（既存の骨格を使い、筋肉を自分たちで基礎から鍛える）
学習済みモデルを追加学習（骨格も筋肉も大体できたものを、目的に合わせてさらに鍛える）

　開発難易度でいえば基本的には上に行くほど難しい。ただし「難しいことをしているから良い」というわけではなく、大事なのはそのLLM開発が何を達成するためのものか、という目的の部分だ。

　例えば「より流暢な日本語テキストを生成する」のが目的なら、学習済みモデルを追加学習するのが比較的低コストな開発手段となりうる。ただし“追加で鍛える”といっても段階はさまざまで、野球のバッティングフォームを修正する程度のものもあれば、全く異なる競技に挑戦するようなものもある。

　「学習データの由来を管理して説明可能にしたい」のであれば既存アーキテクチャからのフルスクラッチ開発が選択肢となるが、ゼロから学習して性能を引き出せるまでにするには、データセットはもちろん大量の計算資源も必要となる。LLM開発ベンダーが我先にとGPUを確保する理由でもあるので、ある程度以上の規模のLLMをフルスクラッチ開発できる企業は必然と限られる。

　「もっと少ない計算で速く動かしたい」「長い文章をうまく扱いたい」など、既存の骨格では実現しにくい特徴を狙うなら、アーキテクチャそのものにも手を入れる。ただし、同じ設計で大規模に学習した前例が少ないほど、どこまで性能が伸びるかは読みにくくなる。

　また、いずれの段階においても“国産性”が関わる部分として「学習に使うデータセット」が挙げられる。英語圏のLLM開発に使われるデータセットの大部分は英語のデータであり、日本語が占める割合は小さい。日本向けの開発として日本語性能の向上が求められるなら、必然的に日本語でできたデータセットの投入が必要となる。

国内LLMはそれぞれどこに当たるのか

　では国内の企業や研究機関が発表しているLLMが、それぞれどこに位置するのかを例示してみよう。なお、モデルの詳しい情報が公開されていないものは除外している（NTTのtsuzumiなど）。

アーキテクチャにも手を入れ、ウェイトをフルスクラッチ

PLaMo 2／3（PFNグループ。PLaMo 3はNICTとの共同）

既存アーキテクチャでウェイトをフルスクラッチ

CyberAgentLM3（CyberAgent）
LLM-jpの基盤モデル（NII主宰）
Sarashina 1／2（SB Intuitions、ただしSarashina 3はアーキテクチャが不明）
Stockmark-100B（ストックマーク）

学習済みモデルを追加学習

Llama-3-ELYZA-JP（ELYZA）
Rakuten AI 7B（楽天）
リコーLLMシリーズ（リコー）
Swallow LLM（東京科学大学・産業技術総合研究所など）
Takane（富士通）

　補足すると、「追加学習」にも大規模なデータセットを使って専門知識などの追加獲得を目指すもの（継続事前学習）から、特定用途に沿わせるための微調整まで幅がある。上記に挙げているのは基本的に前者だ。また、ここで触れられていない開発手法としては「蒸留」や「進化的モデルマージ」などがあるが、話が複雑になってくるので割愛する。

　なお、ここまで見てきたのは、あくまで「モデルをどう作ったか」という観点での国産性だ。実際に企業が利用する際には、どこのデータセンターで動かすのか、入力データを誰が管理するのか、誰がモデルを更新できるのかといった「運用の国産性」も別の軸として重要になる。

　次回の記事では、PFNに「国産LLMの必要性」についてインタビューする。

印刷する

SpecialPR

LLMはどこまで「国産」であるべきか？

日本企業が安全性と利便性を確保したAI活用を実現するにはどのレイヤーを国産にすべきなのか、そもそも国産にはどのようなメリットがあるのかを、代表的な国内ベンダーへの取材などを通して考察する。

連載新着通知を受け取る

この連載の記事をもっと見る

この記事の著者

井上輝一

2016年3月からITmediaにジョイン。ITmedia Mobile、PC USER、LifeStyle、ヘルスケアで編集・執筆を兼務。2017年4月からITmedia NEWSでの兼務も開始。2019年4月にNEWS専属となる。スマートフォンやPCといったガジェット系の他、理系（神経科学）のバックグラウンドを生かして科学系のネタや、量子コンピュータ、ブロックチェーン、AIなど多岐に渡って取材している。