Real-SWE

Real-SWE är ett benchmark, alltså ett standardiserat test, för AI-modeller som skriver kod. Till skillnad från de flesta kodtester bygger det inte på öppen kod från GitHub, som modellerna kan ha sett under träningen. Varje uppgift kommer i stället från en privat kodbas i drift som Specific licensierar från ett riktigt företag, till exempel en konkurrent till Luma och Partiful med över 200 000 användare, en fintech-tjänst som hanterat över 100 000 kontoutdrag och säljplattformar för företag. Uppgifterna innehåller företagens egna regler och kopplingar till andra tjänster.

I version 1.1 (oktober 2026) finns 25 uppgifter i TypeScript, Go, Python, Ruby och Java, och 17 modeller jämförs. Instruktionerna är korta och lite ofullständiga, som i verkligt arbete, och referenslösningarna ändrar i snitt 10,2 filer. Varje modell körs med sitt eget verktyg (till exempel Claude Code eller Codex CLI) på högsta ansträngningsnivå, fem gånger per uppgift.

Enligt Specific leder Claude Opus 5.5 med 56,8 % lösta uppgifter, följd av GPT 6 Astra (56,0 %) och Claude Sonnet 5.5 (51,2 %). GPT 6.1 Sol når 47,2 % till en uppskattad kostnad av bara 0,79 dollar per körning. Det vanligaste felet hos alla modeller är att de bygger på antaganden de inte kontrollerat (32,9 % av misslyckandena), följt av missade krav (29,7 %). Uppgifterna är inte öppna, men exempeluppgifter kan begäras från Specific.