Aikido Altar

Altar (på Hugging Face Altar-1) är en komprimerad version av Z.AI:s stora öppna språkmodell GLM-5.3, som Aikido använder för säkerhetsarbete som kodgranskning och penetrationstester. Poängen är att den kan köras inne i kundens egen infrastruktur, även i miljöer som är helt frånkopplade från internet, via Aikidos produkt Aikido Machine. Då behöver ingen känslig källkod skickas till en extern AI-tjänst.

Modellen har bantats på två sätt. GLM-5.3 är en MoE-modell (mixture of experts) med 256 "experter" per lager, och med metoden REAP från Cerebras har Aikido tagit bort de 88 experter som bidrog minst, så att 168 återstår. Urvalet kalibrerades på spår från Aikidos egna testmiljöer för penetrationstester (kod, verktygsanrop och svar) samt flerspråkig text, enligt Aikido utan kunddata. Dessutom lagras experterna med 4 bitar (AWQ INT4). Resultatet tar 328 GB i stället för cirka 1,5 TB för originalet, enligt Aikido 78,2 % mindre, och kan köras på en server med fyra Nvidia H200-kort med vLLM. Modellkortet anger cirka 504 miljarder parametrar, varav ungefär 40 miljarder används per token.

I Aikidos interna test med 32 kända sårbarheter i 30 kodförråd hittade Altar i snitt 60,4 % per körning och täckte 23 av de 32 sårbarheterna, mot 65,6 % och 25 för den fullständiga GLM-5.3 och 61,5 % och 23 för den 4-bitarsversion som Altar bygger på. Aikido påpekar själva att testet inte mäter fri sökning i hela kodbaser, att bevisa att sårbarheter går att utnyttja eller att föreslå rättningar. Enligt Aikido hittade Altar kort efter driftsättningen en giltig kritisk sårbarhet i ett verkligt penetrationstest hos en kund.

Vikterna ligger på Hugging Face och ärver licensen från GLM-5.3. Aikido använder redan Altar i produkter som Aikido Attack, AI Code Analysis och Deep Review, och planerar bland annat format med ännu färre bitar och finjustering för säkerhetsuppgifter.