「スマホで動く」270億パラメーターLLM「Bonsai 27B」登場

　米カリフォルニア工科大学発のAIスタートアップ企業、PrismMLは7月15日（現地時間）、「スマートフォン上で動作する初の27Bクラスモデル」をうたうLLM「Bonsai 27B」を発表した。

　「Qwen3.6 27B」をベースとしたマルチモーダル対応モデル。商用利用可能な「Apache 2.0」ライセンスの下でオープンソースで提供する。

　27Bモデルは通常、16ビット精度で約54GBのメモリを占有する。4ビット版でも約18GBとなるため、スマートフォンやノートPCで動かすのは現実的ではなかった。

　特にスマートフォンは、限られたメモリをKVキャッシュやアクティベーション、ランタイムなどと共有する必要があるなど、制約が厳しい。

　Bonsai 27Bは、各パラメータの重みを1～2ビット程度にまで削減することでモデル全体のサイズを大幅に縮小した。

　スマートフォン向けのサイズに最適化した「1-bit Bonsai 27B」は、重みを「－1」と「＋1」の2値で表現し、3.9GB（有効1.125ビット／重み）に縮小。27BクラスのモデルをiPhoneで実行可能な容量に収めたとしている。

　ノートPC向けの品質に最適化した「Ternary Bonsai 27B」は5.9GB（有効1.71ビット／重み）で、重みを「－1」「0」「＋1」の3値で表現する。

　同社によると、知識、推論、数学、コーディング、指示追従、ツール使用、視覚認識にわたる15のベンチマークで評価した結果、Ternary版はフル精度モデルの性能の95％を、1-bit版は90％を維持したという。

この記事の著者

関連記事

• 

  「Qwen3.6-27B」登場　グラボ1枚で一部「Claude Opus 4.5」に迫る性能うたう

• 

  「スマホで動く」80億パラメーターLLM――1.15GBで実運用レベルうたう「1-bit Bonsai」が話題に