Sakana AI スマホで動く小さくて高性能な日本語SLM「TinySwallow-1.5B」を公開

Sakana AIが日本語特化の小規模言語モデル「TinySwallow-1.5B」を公開した。独自の知識蒸留手法「TAID」を活用し、同規模の他モデルを上回る性能を発揮する。

[後藤大地，有限会社オングス]

　Sakana AIは2025年1月30日、新たな知識蒸留手法「TAID」（Temporally Adaptive Interpolated Distillation）で構築した日本語小規模言語モデル「TinySwallow-1.5B」を公開した。同モデルは15億（1.5B）パラメーターという小規模ながら、同等規模の他モデルと比較して最高水準の性能を達成している。

　近年、大規模言語モデル（LLM）は高度な対話やプログラミング支援など多様な用途で活用されているが、その運用には十分な計算リソースが必要となる。Sakana AIは小規模ながら高性能な言語モデル（SLM）の研究を進め、新たな知識蒸留手法TAIDを開発した。

TAIDは何がうれしいのか？

　TAIDはLLMの知識をSLMへ効率的に転移させる技術で、学習の進行に応じて段階的に適切な知識を付与することで従来手法よりも効果的な知識蒸留を実現する。

　TAIDの有効性を示すために開発された「TinySwallow-1.5B」は日本語特化のSLMで、APIなどを介さずにスマートフォンやPCでオフラインで動作する。同モデルはオンライン版としてWebアプリ（TinySwallow-1.5B Chat）が、ローカル環境向けがGitHub（TinySwallow ChatUI Local）に用意されている。またモデルの重みはHugging Face Hub（TinySwallow - a SakanaAI Collection）に公開されており、日本語事前学習データで継続事前学習をした「TinySwallow-1.5B」や、指示学習をした「TinySwallow-1.5B-Instruct」も提供されている。

　TAIDに関する研究論文は機械学習分野のトップである表現学習国際会議（ICLR）に採択されており、技術の有効性が国際的に認められている。今後、Sakana AIはTAIDの適用範囲を広げ、さまざまな環境下での検証を進めていくとしている。