Så ska listan läsas
Finance Agent testar om en modell kan göra det arbete som en analytiker på en investmentbank gör under sina första år. Modellen arbetar som en agent med sex verktyg: sökning i den amerikanska finansinspektionens databas över bolagsrapporter (SEC EDGAR), webbsökning, hämtning av webbsidor, sökning i hämtade dokument, en miniräknare och aktiekurshistorik. Frågorna gäller amerikanska börsbolag och kräver att man hämtar uppgifter ur flera rapporter, ofta ur fotnoter, följer branschens räknesätt och räknar exakt i flera steg. Det finns till exempel frågor om jämförbara bolag, resultatanalys, bolagets upplysningar och finansiell modellering. Varje uppgift har en tidsgräns på två timmar. Testdelen (449 frågor) är inte offentlig.
Siffran är ett delpoängsmått: svaret bedöms mot en lista med kontrollpunkter, men om någon av de bärande siffrorna eller fakta är fel blir det noll för hela frågan. Rättningen görs av en jury av tre AI-modeller (GPT-6.1 Sol, Gemini 3.8 Flash och Claude Sonnet 5.5). Alla tre jurymodellerna finns själva med på listan, vilket är värt att ha i minnet. Felmarginalen är ungefär ± 2 procentenheter, så de fyra första ligger i praktiken lika.
Version 2.1, som Vals nu använder, ersätter version 2 med rättade frågor, en ny jury och strängare regler mot svar som garderar sig med flera alternativ. Siffrorna går därför inte att jämföra med äldre versioner. Testet gäller amerikanska bolag och redovisning; svenska årsredovisningar eller nordiska förhållanden ingår inte. Bara 31 modeller har körts, så många kända modeller saknas.