Edge0

Edge0 är öppen programvara för att köra stora AI-modeller lokalt på datorer med lite arbetsminne. Den är byggd för så kallade MoE-modeller (mixture of experts), där bara en liten del av modellens "experter" används för varje ord. Edge0 låter experternas vikter ligga kvar på SSD-disken och läser bara in dem som behövs. En liten extra modell, en "prerouter", gissar ett steg i förväg vilka experter som kommer att behövas, så att de kan hämtas i tid. Enligt utvecklarna ger det upp till 59 % snabbare textgenerering. Små LoRA-adaptrar återställer en del av kvaliteten som går förlorad när modellen komprimeras till 4 bitar.

Två modeller släpptes samtidigt: edge0-35b, byggd på Qwen3.6-35B-A3B, och edge0-8b, byggd på Ling 3.0. Enligt utvecklarnas mätningar på en Mac mini M4 Pro behöver 35b-versionen cirka 2,9 GB minne och genererar 15–18 tokens per sekund, och 8b-versionen cirka 1 GB och 24–25 tokens per sekund. Samma 35b-version ska gå att köra på en MacBook M2 med 16 GB. Priset är något lägre kvalitet: i OpenCompass-tester får 35b-versionen i snitt 79,2 mot 83,2 för originalmodellen, och 8b-versionen 69,9 mot 72,7.

Edge0 släpptes som öppen källkod under Apache 2.0 den 8 september 2026, med en teknisk rapport på arXiv. Python-versionen fungerar i dagsläget bara på Mac med Apple-chip (M1–M4) och kan starta en lokal server som är kompatibel med OpenAI:s API. Den 30 september släpptes även källkoden för motorer till iOS, macOS, Android och Windows. Stöd för Nvidia-grafikkort (CUDA) är planerat till fjärde kvartalet 2026.