Så ska listan läsas
ARC-AGI drivs av den ideella ARC Prize Foundation och är tänkt att mäta förmågan att lära sig något nytt, inte hur mycket man redan kan. De två första versionerna bestod av bildpussel där modellen skulle hitta regeln bakom några exempel. ARC-AGI-3, som används här, är nyast och svårast: modellen hamnar i interaktiva, spelliknande miljöer utan instruktioner och måste själv prova sig fram, förstå målet och lösa uppgiften. Testerna körs av ARC Prize på en uppsättning uppgifter som inte är offentlig, så resultaten är verifierade och inte skaparnas egna påståenden.
Så läser du siffran: andel lösta uppgifter i procent, högre är bättre. Siffran här är från standardupplägget ("Standard"), där alla modeller körs på samma sätt. För nyare modeller visar ARC Prize även ett upplägg som heter Provider Adapter, där modellen får behålla sina tankar och komprimera långa samtal. Där når de bästa modellerna nära 100 %, vilket står i kommentaren. Varje modell visas med sitt bästa läge. Topplistan har ingen egen placering, så placeringen här är räknad efter poängen bland modellerna på listan. Kostnaden per uppgift är ofta tusentals dollar, vilket inte syns här.
Vad den inte säger: ARC mäter en smal sorts problemlösning och säger lite om språk, kunskap eller skrivande. Alla modeller är inte testade; vid avläsningen saknade till exempel Claude Opus 5.5 och Claude Fable 5.1 resultat på ARC-AGI-3 (Claude Opus 5.5 hade 93,3 % på den äldre ARC-AGI-2). Siffror från ARC-AGI-1, -2 och -3 kan inte jämföras med varandra.
