「DeepSeekショック」とは何だったのか？　2025年、AI開発の最新事情を解説（3/5 ページ）

公開 2025年02月04日 11時46分

著者

小林啓倫

[ITmedia]

印刷する Googleで優先するソースとして追加

DeepSeekへの疑惑　AIモデルの「蒸留」とは何か？

　一方、運用コストの面で注目されているのが「スパース・アクティベーション」（Sparse Activation）と「MoE」（Mixture of Experts：混合専門家）だ。

　スパース・アクティベーションの「スパース」とは、「まばらな」や「間が空いている」といった意味を持つ。つまりスパース・アクティベーションで、何らかの能力をフル稼働させるのではなく、いくつかの部分だけをまばらに動かすことを指す。

　それをDeepSeekのモデルは行っているわけだが、もちろん稼働させる場所をランダムに選んでいては正しい処理が行えない。必要な場所を選んで稼働させることで、適切な処理を行いながら、運用時のエネルギーを節約することにも成功しているのである。

　「必要な場所だけを動かす」を可能にしているのがMoEだ。こちらも名前から想像できるかもしれないが、モデル内を多数の「専門家」に分け、それぞれに専門領域と処理能力を割り当てておくというものだ。こうして適切なスパース・アクティベーションの実行を可能にすることで、例えばDeepSeek-V3は総パラメータが671Bである一方で、各トークンの処理時にはその中の37B分のみが「活性化」される仕組みになっているという。

　以上が主な手法として注目されているものだが、最後に疑惑についても1つだけ紹介しておこう。それはDeepSeekが「蒸留」（Distillation）という手法を使ったのではないか、というものだ（それを行った「相当な証拠がある」という指摘が、トランプ政権関係者から挙げられている）。

　蒸留とは簡単に言ってしまえば、既存のモデルを「教師」として、それにさまざまな質問を投げかけて反応を引き出し、その結果を「生徒」すなわち新たに開発したいモデルに学ばせるという手法だ。その過程を酒造になぞらえて「蒸留」と呼んでいるのである。

　蒸留は別に特殊な技術ではなく、AIモデルを新規開発する際の有力な手法として、広く活用されている。ただしこの手法では、当然のことながら、模倣するためのオリジナルのモデルが必要となる。

　そのモデルが自社内のものであれば問題はないが、他社のモデルを勝手に模倣した場合、オリジナルを開発した会社は良い気はしないだろう。OpenAIも規約の中で、無許可で自社モデルを蒸留することを明確に禁止している。

　そんなルール違反をDeepSeekは行っているのではないか、という疑惑が上がっているわけだ。本当に蒸留が行われたのか、行われたとしたらどの程度だったのかは確定していないが、事実だとすればDeepSeekの革新性を多少割り引いて考える必要が出てくる。

次ページへ他企業の反応は？