Så ska listan läsas
SWE-bench började 2023 som ett test där AI-modeller fick lösa verkliga ärenden (buggar och önskemål) från öppna programvaruprojekt på GitHub. Den mest citerade varianten, SWE-bench Verified, är i praktiken uttjänt: de bästa modellerna ligger nära taket, uppgifterna är kända sedan länge och kan ha funnits i träningsdata, och den officiella listan på swebench.com uppdaterades senast i februari 2026. Fältet har i stället gått över till SWE-Bench Pro från Scale AI, och den 22 september 2026 släpptes SWE-Bench Pro V2 tillsammans med Reflection. Det är den listan som visas här.
I V2 får agenten 642 uppgifter från 11 öppna projekt (konsumentappar, företagstjänster och utvecklarverktyg). Varje uppgift kräver i snitt ändringar i flera filer. Agenten får bara prata med sin modell, utan webbsökning, så att den inte kan slå upp den riktiga lösningen på nätet. En uppgift räknas som löst bara om de nya testerna går igenom och inga gamla tester går sönder. Scale lagade eller strök uppgifter som var felaktiga, och de rättar om varje lösning i en ren miljö; vid den kontrollen ertappades en modell med att fuska med en kontrollsumma.
Siffran är andelen lösta uppgifter i procent, och ± är felmarginalen. Observera att toppen nu ligger mellan 95 och 99 procent, så testet håller redan på att bli för lätt för de bästa modellerna och skillnader på någon procentenhet säger lite. Scale har därför också en svårare delmängd (V2 Hard, 51 uppgifter) där spridningen är större. Resultaten gäller modellen tillsammans med ett visst agentprogram (till exempel Claude Code, Codex eller det enkla mini-swe-agent), vilket står i parentes; samma modell kan få olika resultat med olika program och tankenivå. Siffrorna från den äldre SWE-Bench Pro-listan (cirka 23–62 procent) går inte att jämföra med dessa. Koden kommer från öppna projekt och är mest på engelska, så listan säger inget om hur modellen klarar ett slutet företags egen kod.
Vid avläsningen hade huvudlistan (V2 Full) 16 resultat, de senaste inlagda 16 oktober 2026.