LLMはどこまで『国産』であるべきか？：

「フルスクラッチ開発」って何？──LLMを“骨格”と“筋肉”に例えて国産モデルの現在地を整理する（1/2 ページ）

　米中の技術覇権争いや地政学的リスクの高まりを背景に、「国産LLM」「国産AI」をうたう製品のリリースが相次いでいる。しかし、何をもって「国産」と呼ぶのかは実はあいまいだ。学習データか、モデル構造か、それとも運用環境か──。

　「LLMはどこまで『国産』であるべきか？」と題した本特集では、日本企業が安全性と利便性を確保したAI活用を実現するにはどのレイヤーを国産にすべきなのか、そもそも国産にはどのようなメリットがあるのかを、代表的な国内ベンダーへの取材などを通して考察する。第1回の本稿では、そもそもLLMがどう作られていて、国内ベンダーがLLMのどこを開発しているかを整理してみたい。

LLM開発のキホンを整理

　LLM関連の発表を見ると、「パラメータ数がいくつ」「フルスクラッチ」「ファインチューニング」などの言葉が並ぶ。いずれかの観点で日本向けになっているらしいことは分かっても、詳しくない人からすればよく分からない部分も多いだろう。

　そこで、まずはLLMがどういう作りになっているかをざっくり整理してみたい。分かりやすさを優先するため、厳密には例外やグラデーションもあるところ、ここでは主要な違いに絞って説明している。詳しい方々は追加でコメントいただければ幸いだ。

LLMには“骨格”と“筋肉”がある

　人によってはそこに自我を感じるほどにLLMは自然な受け答えができる他、最近は外部ツールと組み合わせることでブラウザやPC自体の自律的な操作も可能になっている。その中身について「理解も及ばないほど高度なプログラムになっているのであろう」と感じるかもしれないが、実のところざっくりと形をつかむのはそんなに難しくない。

　LLMのこんな紹介文があったとする。「あるLLMはTransformer系のアーキテクチャを採用し、約300億個のパラメータを持ち、日本語や英語を含む大規模なWeb文書やコードで事前学習した」。これだけでは何のことかよく分からない人も多いと思う。

　そこでこんな比喩をしてみたい。

　動物をイメージしてほしい。生物種ごとに骨格が異なり、同じ生物種でも、筋肉の鍛え方次第で動きが変わってくる。

　LLMの「アーキテクチャ」は“骨格”、「パラメータ数」は“筋肉を付けられる量”、「ウェイト」は“実際の筋肉の付き方”、そして「学習」は“筋トレ”──と捉えてみると、先ほどの文章はどう見えるだろう。

　「とある生物の骨格はこんな形で、筋肉はこれくらい付けられる。何を使って鍛えたかが書かれている」──こんなふうに読めるのではないだろうか。

　LLMのアーキテクチャは（今のところは）人間の研究者が事前に設計している。パラメータ数は実際のところ、アーキテクチャの設計に伴って決まるので“骨格”寄りではあるのだが、パラメータの大半がウェイトなので“筋肉”側の表現とした。

　パラメータ数は大きい方が基本的に性能が高い。しかし、パラメータ数が大きくなるにつれて計算性能の高いマシンが必要になる。

　ウェイトは日本語で「重み」。文章を数字に置き換えて処理するとき、どの情報をどれだけ重く見るかを決める大量の数字だ。アーキテクチャの設計がいかに優れていても、適切なウェイトでなければまともな結果は得られない。学習とは、大量の文章を読み込ませることでその数字を調整していく作業である。

　骨格（アーキテクチャ）が先んじてあり、データセットとその学習手法というメニューで鍛え上げるものという意味で、ウェイトを筋肉に見立てている。

この記事の著者

関連記事

• 

  NPUだけでOpenAIのLLM「gpt-oss」が動く！　速度や消費電力を計測してみた

• 

  AIは「大きい」より「小さい」方がいい──AIエージェントの開発手法、米NVIDIAが主張　LLMをSLMに移行する技術も掲載

• 

  富士通、LLMの軽量化技術を発表　1ビット量子化でも約9割の精度を維持　3倍に高速化も

• 

  “特化LLM”乱れ咲き──意外と知らない中国AI事情　日系企業の現地法人に求められる選定判断とは