Needle 2

Needle 2 är en öppen agentmodell från Cactus med 45 miljoner parametrar, byggd för att anropa verktyg (funktioner i en app), styra enheter och plocka ut strukturerad information ur text. Hela modellen ligger i en enda binärfil på 14 MB, och en hel session använder ungefär 28 MB arbetsminne. Den är komprimerad till ungefär 2 bitar per vikt med Cactus egen kvantisering och har sin egen inbyggda motor, så den behöver varken nätverk, extra program eller nedladdningar.

Modellen bygger på det Cactus kallar Simple Attention Network, ett recept för små modeller där det vanliga framåtnätverket ersätts av en så kallad Hadamard-MLP, kompletterat med ett n-gram-minne (engram). Svaren kommer alltid som JSON som följer de scheman utvecklaren har angett, och varje svar har ett kalibrerat säkerhetsvärde så att appen kan välja att agera, fråga eller avstå. Ett glidande fönster på 256 tokens håller minnesbehovet konstant hur lång konversationen än blir.

Enligt Cactus når Needle 2 över 500 tokens per sekund på en Raspberry Pi 5, 400–1 500 på VR-headset som Meta Quest 3S och Apple Vision Pro och 300–700 på billiga Android-telefoner. Cactus jämför den med andra små modeller som FunctionGemma 270M, LFM2.5 230M och Apple Foundation Model: den vinner på vissa tester (Seal-Tools) men ligger efter på andra (BFCL och Mobile Actions), trots att den är 5–70 gånger mindre.

Needle 2 har ersatts av Needle 3 i september 2026.