Så ska listan läsas
Terminal-Bench ger en AI-agent tillgång till en terminal, alltså den textbaserade kommandoraden som utvecklare och systemadministratörer arbetar i, inuti en avskild testdator. Agenten får en uppgift i vanlig text, till exempel att få igång ett trasigt program, sätta upp en server, träna en liten modell eller knäcka ett problem i en kodbas, och måste sedan klara den helt själv. Efteråt kontrollerar automatiska tester om resultatet faktiskt blev rätt. Version 4.0 är den senaste och svåraste; uppgifterna är byggda för att hänga med i vad de bästa agenterna klarar.
Siffran är andelen lösta uppgifter i procent, i snitt över flera försök, och ± är felmarginalen (95 procent). Modeller vars marginaler överlappar kan i praktiken vara lika bra; listan ger dem ibland samma placering. Varje rad är en modell tillsammans med ett visst agentprogram (Claude Code, Codex, Grok Build med flera) och en viss tankenivå (low till max). Samma modell förekommer därför flera gånger, och högre tankenivå kostar mer tid och pengar: toppresultatet krävde runt 4 700 dollar i beräkningskostnad för hela testet.
Testet säger mycket om självständigt tekniskt arbete i en terminal, men inget om hur väl en modell förklarar, skriver text eller samarbetar med en människa. Resultaten skickas in av modellföretagen och agentbyggarna själva och visas sedan på listan. Vid avläsningen hade listan 35 rader; här visas de 15 bästa plus bästa raden för övriga modeller i katalogen.