Så ska listan läsas
LMArena (numera på arena.ai) låter vem som helst ställa en fråga och få svar från två anonyma modeller sida vid sida. Besökaren röstar på det svar hen tycker är bäst, och först därefter visas vilka modeller det var. Av alla röster räknas en poäng ut på samma sätt som i schack (Elo): vinner en modell mot starka motståndare stiger poängen mer. Den här listan är textkategorin "Overall", som blandar allt från matte och kod till kreativt skrivande. Vid avläsningen byggde den på nästan 8,9 miljoner röster och 418 modeller.
Så läser du siffran: högre är bättre, men det är skillnaden som betyder något, inte nivån. Ett par poängs skillnad är ingenting. Siffran efter ± är felmarginalen, och modeller vars marginaler överlappar kan i praktiken inte skiljas åt. Därför delar många modeller nästan samma poäng i toppen. Samma modell kan finnas flera gånger med olika inställningar för hur länge den får tänka (till exempel High eller Max).
Vad den inte säger: listan mäter vad besökare gillar, inte om svaren är rätt. Långa, välformaterade och självsäkra svar får ofta fler röster, och frågorna är mest korta och på engelska. Den säger lite om hur en modell klarar långa uppgifter, verktyg eller ditt eget språk. Placeringen är listans egen och tar hänsyn till felmarginalen.