Så ska listan läsas
Legal Research Bench testar det arbete som en biträdande jurist eller paralegal gör: att utreda en verklig juridisk fråga. Modellen arbetar som en agent med verktyg för att söka i rättsfall, söka på webben och hämta dokument, och ska sedan skriva ett välgrundat svar. Frågorna kräver flera steg av juridiskt resonemang, inte bara en enkel sökning. De kommer från åtta rättsområden, bland annat förvaltningsrätt, affärsjuridik, tvistemål, straffrätt, familjerätt, hälso- och sjukvårdsrätt och migrationsrätt, och gäller amerikansk federal och delstatlig rätt. Frågorna, de rätta svaren och bedömningsmallarna är skrivna och granskade av verksamma advokater, med advokatbyråer som Reed Smith och McDermott som partner. Frågorna är inte offentliga, vilket minskar risken att modellerna sett dem i förväg.
Siffran är den strikta måttstocken: andelen frågor där svaret uppfyller varje punkt i juristernas bedömningsmall. Missar svaret en enda nödvändig punkt räknas frågan som fel. Därför är siffrorna låga; även de bästa modellerna klarar knappt varannan fråga fullt ut. Rättningen görs av en AI-domare, inte av människor.
Felmarginalen är stor, omkring ± 3,5 procentenheter, så modeller som skiljer sig några procentenheter är i praktiken jämbördiga, och flera delar placering. Testet säger ingenting om svensk eller europeisk rätt. Det mäter heller inte tid och kostnad, som skiljer sig enormt: på topplistan tar vissa modeller fem minuter per fråga och andra nästan två timmar.