Needle 3

Needle 3 är Cactus tredje generation av sin lilla agentmodell, gjord för mobiler, bärbara prylar, robotar, smarta hem, bilar och mikrokontroller. Hela modellen är en enda fil på 8–29 MB. Cactus har medvetet offrat förmågan att föra allmänna samtal för att i stället bli bra på tre saker som sker helt på enheten: att välja vilka funktioner i en app som ska anropas och fylla i argumenten, att plocka ut strukturerad information ur rörig text (till exempel en faktura eller en bokning), och att göra om meningar till vektorer så att appen kan söka och matcha lokalt.

Modellen är ett så kallat Laddered Simple Attention Network. Den är tränad så att varje djup från 2 till 20 lager fungerar som en egen modell, vilket gör att samma vikter ger allt från 29 till 121 miljoner parametrar. De flesta parametrarna ligger i ett n-gram-minne (engram), så den största varianten räknar ungefär som en modell på 50 miljoner parametrar. Vikterna är komprimerade till ungefär 2 bitar, och varje svar har ett kalibrerat säkerhetsvärde. Enligt Cactus tränades den på 360 miljarder tokens.

Enligt Cactus slår Needle 3 modeller som är tio gånger större på verktygsanrop i mobilen och matchar 2–3 gånger större modeller på dataextraktion. Efter finjustering på testet DroidCall förbättras varje deldjup med 18–36 poäng, och från 4 lager (29 miljoner parametrar) passerar den DeepSeek V4 Flash. På en Raspberry Pi 5 genererar den 400–4 000 tokens per sekund.

Motorn finns förbyggd för macOS, Linux, Windows, Android, iOS, tvOS, watchOS, webbläsare (WebAssembly) och fler, och samma motor kör även Cactus taligenkänningsmodell Whistle, så ett ljudklipp kan bli verktygsanrop i ett steg. Vikterna ligger öppet på Hugging Face under Apache 2.0.