Bonsai 2 27B

Bonsai 2 27B, eller Ternary Bonsai 2 27B som PrismML också kallar den, är en komprimerad version av Alibabas Qwen3.8 27B. Varje vikt i modellen får bara ett av tre värden (−1, 0 eller +1) med en gemensam skalfaktor per grupp, vilket ger i snitt 1,76 bitar per vikt. Hela modellen tar därmed 5,9 GB, mer än nio gånger mindre än originalet. Den förstår både text och bilder och kan läsa upp till 262 000 tokens.

Enligt PrismML får den 83,9 i snitt på en samling tester inom resonemang, matte, kod, instruktionsföljning, bildförståelse och agentuppgifter, mot 85,4 för fullversionen av Qwen3.8 27B. Det motsvarar 98,2 % av originalets förmåga, mot 95 % för föregångaren Bonsai 27B som släpptes i juli 2026. PrismML lyfter särskilt fram att den behåller förmågan i kodagenter, verktygsanvändning och längre agentuppgifter, där små fel annars brukar förstärkas.

Modellen är också snabb och energisnål. Enligt PrismML når den upp till 143 tokens per sekund på ett Nvidia RTX 5090 och 46,8 tokens per sekund på en Mac med M5 Max, och på ett RTX 4090 drar den 0,714 mWh per token, 40 % mindre än en 8B-modell i full precision. Den körs på Nvidia-kort via CUDA och på Mac, iPhone och iPad via MLX med PrismML:s egna kärnor för lågbitsberäkning. Vikterna är öppna under Apache 2.0.

Samtidigt med 27B-modellen finns mindre modeller i Bonsai 2-serien på 9B, 4B och 2B.