iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発　知識蒸留の新手法「TAID」採用

公開 2025年01月30日 10時02分

更新 2025年02月06日 18時56分

[ITmedia]

印刷する Googleで優先するソースとして追加

　AIベンチャーのSakana AI（東京都港区）は1月30日、小規模言語モデル（SLM）「TinySwallow-1.5B」を開発したと発表した。大規模言語モデル（LLM）の知識を効率的にSLMに転移できる新技術「TAID」（Temporally Adaptive Interpolated Distillation）を利用し作成したSLMで、デモ動画ではiPhone 14上で高速動作する様子を確認できる。

iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発

　SLMとは「Small Language Model」の略称で、小さいパラメータ数を持つAIモデルを指す。消費する計算リソースが少ないため、スマートフォンなどの端末上でも動かせる他、特定のタスクに特化したファインチューニングを施しやすいのも特徴だ。

　TinySwallow-1.5Bは、東京科学大学のLLM「Swallow」の開発チームと共同で開発。TAIDを活用し、320億パラメータを持つLLMから知識を段階的に移行して、約1/20の規模（15億パラメータ）に圧縮した。性能面では、米Metaの「Llama-3.2-1B」や米Googleの「Gemma-2-2B」などの代表的なSLMを上回り、同規模帯では最高水準の日本語性能を記録したという。

TinySwallow-1.5Bの性能評価

　また、小型軽量化したことで、iPhone 14上でもオフライン動作で文章の高速生成を実現。スマートフォンなどのエッジ環境でも実用的に使えることをデモ動画でアピールしている。TinySwallow-1.5BはHugging Face Hubで公開中で、指示学習済みのAIモデル「TinySwallow-1.5B-Instruct」も提供している。

新しい知識蒸留手法「TAID」とは？

　高性能なSLMを構築する手法の一つに「知識蒸留」がある。これは、高性能な教師モデル（LLM）の出力確率分布を生徒モデル（SLM）に学習させ、正解データだけでなく教師モデルの推論プロセス（考え方）も移行させる方法だ。通常の学習方法よりも、SLMに知識を詰め込めるため性能の向上が見込める一方、教師モデルと生徒モデルの能力差が大きすぎると、学習がうまく進まない課題もあった。