iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発 知識蒸留の新手法「TAID」採用
AIベンチャーのSakana AI(東京都港区)は1月30日、小規模言語モデル(SLM)「TinySwallow-1.5B」を開発したと発表した。大規模言語モデル(LLM)の知識を効率的にSLMに転移できる新技術「TAID」(Temporally Adaptive Interpolated Distillation)を利用し作成したSLMで、デモ動画ではiPhone 14上で高速動作する様子を確認できる。
SLMとは「Small Language Model」の略称で、小さいパラメータ数を持つAIモデルを指す。消費する計算リソースが少ないため、スマートフォンなどの端末上でも動かせる他、特定のタスクに特化したファインチューニングを施しやすいのも特徴だ。
TinySwallow-1.5Bは、東京科学大学のLLM「Swallow」の開発チームと共同で開発。TAIDを活用し、320億パラメータを持つLLMから知識を段階的に移行して、約1/20の規模(15億パラメータ)に圧縮した。性能面では、米Metaの「Llama-3.2-1B」や米Googleの「Gemma-2-2B」などの代表的なSLMを上回り、同規模帯では最高水準の日本語性能を記録したという。
また、小型軽量化したことで、iPhone 14上でもオフライン動作で文章の高速生成を実現。スマートフォンなどのエッジ環境でも実用的に使えることをデモ動画でアピールしている。TinySwallow-1.5BはHugging Face Hubで公開中で、指示学習済みのAIモデル「TinySwallow-1.5B-Instruct」も提供している。
新しい知識蒸留手法「TAID」とは?
高性能なSLMを構築する手法の一つに「知識蒸留」がある。これは、高性能な教師モデル(LLM)の出力確率分布を生徒モデル(SLM)に学習させ、正解データだけでなく教師モデルの推論プロセス(考え方)も移行させる方法だ。通常の学習方法よりも、SLMに知識を詰め込めるため性能の向上が見込める一方、教師モデルと生徒モデルの能力差が大きすぎると、学習がうまく進まない課題もあった。
TAIDは、この能力差を段階的に埋めることを狙っている。生徒モデルの学習度合に合わせ「中間教師モデル」を少しずつ高度化し、最終的には大規模教師モデルの知識へ到達するような仕組みを取っている。実験結果も、TAIDは教師モデルのサイズが大きいほど、生徒モデルの性能が向上することを確認できたという。
Sakana AIはTAIDについて「人間の教育で生徒のレベルに合わせ、徐々に難易度を上げる方法を取り入れた」と表現。今後もSLMの研究開発を進めていくと表明している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
NotebookLMに公式APIが登場 WebページやYouTube動画の取り込みを自動化でき、MCPでAIエージェントからも使える
-
2
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
3
総務省が新しい無料オンライン講座「統計解析プログラミング」を1月に開講 Pythonでのデータ分析が4週間で学べる
-
4
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
5
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
6
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
7
大手自動車メーカーの検図工数を90%削減 AIが図面の重要な変更点を判別
-
8
Anthropic、IPO前夜に「SaaS殺し」へ舵? Claudeに表計算を内蔵した、真の狙い
-
9
わが社はChatGPTでどう紹介されている? OpenAIが企業向けの確認機能を提供開始
-
10
NTTが宇宙光通信網の構築へ 「IOWN搭載」衛星と宇宙データセンターで米中に挑む
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR