DeepSeekで注目された「蒸留」って何だ？　識者が解説（3/3 ページ）

公開 2025年02月07日 14時33分

[ITmedia]

印刷する Googleで優先するソースとして追加

蒸留以外の要因が決め手緻密な工夫の積み重ねで実現

　仮にDeepSeekがOpenAIのモデルから何らかのデータを活用していたとしても、それが同社の「すごいモデル」を成立させている唯一かつ決定的な要因かというと、「それはだいぶ違う」と椎橋氏は指摘する。

　氏はDeepSeekの成功を、高度経済成長期の日本企業になぞらえる。「潤沢な資源がなく、さまざまな制約がある中で、トヨタなどの製造業は緻密に工夫を重ねて米国を超える品質の高いものを作った」。確かにフォードの車を分解して内部を研究していたかもしれないが、それが決定的な要因ではない。独自の工夫を重ねることで、高品質で低コストな車を生み出したわけだ。

　実際、DeepSeekは輸出規制で最先端のGPUが入手できない中、型落ちのH800などを独自の最適化で効率的に活用。アルゴリズムの工夫により、6000億個のパラメーター（AIの学習に使われる変数）を持つモデルの開発に成功した。

　その創意工夫の具体例として、最先端のH100が使えない制約下で、型落ちのGPUを使ってどう性能を引き出すか。学習アルゴリズムをGPUの特性に合わせて最適化する。あるいは、巨大な6000億のパラメーターを常時フルに使うのではなく、必要な領域だけを使うよう制御する――といった緻密な工夫を積み重ねているという。

　具体的には、「Mixture of Experts（MoE）」と呼ばれる手法をうまく活用した。モデルの全パラメーターをフルに使うのではなく、問題に応じて使用する領域を適切に選択することで計算効率を高めている。また推論モデル「R1」の開発では、計算効率が高まる強化学習の新手法を編み出したという。

　仮にOpenAIのデータを活用していたとしても、それはDeepSeek成功の一部要因に過ぎず、技術革新の本質はより深いところにあると分析する。

GPU需要増の可能性もエネルギー効率改善で逆説的に

　DeepSeekの技術革新は市場に激震を与えた。従来、最先端のAIモデル開発には数万台規模のGPUと巨額の計算コストが必要とされてきた。それがわずか2048枚のGPUで同等の性能を実現できるとなれば、高価なGPUへの依存度が大きく低下するのではないか――。そんな見方が広がり、GPU市場を支配するNVIDIAの株価は1月27日に16.9％下落。時価総額で約5888億ドル（約91兆円）が失われた。

　しかし「むしろ計算資源の重要度はさらに増すはずだ」と椎橋氏は予測する。これは「ジェボンズのパラドックス」と呼ばれる経済法則に近いという。「資源あたりのアウトプットが高まる、つまり資源効率が上がると、資源に対する需要が逆により増える」という現象だ。

　「シンプルに考えると、今まで1のものを得るために1のお金を払っていた時に、資源効率が上がって0.5のお金で手に入るようになる。半分の価格だったら倍買おうかとなる」。しかし実際には「価格が半分になると需要が2倍ではなく3倍になることが多く、そうすると必要な資源は1.5倍になる」（椎橋氏）

　AIモデルの性能は、一般に学習に使用するデータ量と計算能力に比例して向上する。今回のDeepSeekの成果で「10分の1の計算リソースで同等のモデルが作れる」となれば、その分より大規模なモデルの開発が現実的になる。たとえば、より多くの学習データを投入する、モデルの層を深くして推論能力を高める、画像や音声など多様なタスクに対応させる――。こうした性能向上の余地は依然として大きく、むしろ計算効率の改善によって、より野心的なAIモデルの開発が加速する可能性があるという。