RSI-Exam

RSI-Exam är ett test (benchmark) för så kallad rekursiv självförbättring: förmågan hos en AI-agent att stegvis göra sitt eget arbete bättre. Här betyder det inte att modellen ändrar sina egna vikter, utan att agenten får en fungerande men svag metod, till exempel ett program som löser ett problem, och sedan i upp till 12 timmar experimenterar fram förbättringar, sparar versioner och slänger idéer som inte fungerar.

Till slut lämnar agenten in körbar kod, inte ett svar. Koden körs då en gång, oförändrad, på ett dolt dataset som agenten aldrig fått se. Bara förbättringar som håller även där ger poäng. Första versionen, RSI-Exam 0.1, har 88 uppgifter (35 offentliga och 53 hemliga) inom sex områden: AI-modeller och agenter, system och hårdvara, fysik och teknik, optimering, biovetenskap och medicin, samt finans, juridik och affärer. Varje uppgift behåller sitt eget fackmått, som sedan räknas om till en gemensam skala där startmetoden är 0. Alla experiment och förkastade idéer sparas och kan granskas.

På topplistan i oktober 2026 leder Claude Opus 5.5 (i Claude Code) med 0,54, följd av GPT-6-astra och Claude Fable 5.1. Benchmarken drivs av AIMING Lab vid University of North Carolina at Chapel Hill, med medverkan från flera andra universitet, bland annat Stanford, Berkeley och Carnegie Mellon. Koden är MIT-licensierad och de offentliga uppgifterna finns på Hugging Face.