Så ska listan läsas
LegalBench är en öppen samling juridiska uppgifter som jurister, juridikprofessorer och forskare har bidragit med, samordnad av forskare vid Stanford. Den består av 162 uppgifter som delas in i sex sorter: att hitta den juridiska frågan i ett sakförhållande, att komma ihåg en regel, att dra en slutsats ur en regel, att tillämpa en regel, att tolka texter (till exempel avtal och lagtext) och att förstå juridisk argumentation. Vals AI kör alla modeller på samma sätt och räknar ut hur stor andel av svaren som blir rätt.
De flesta uppgifterna är korta och har ett givet rätt svar, ofta ja/nej-frågor eller att sortera en text i rätt kategori, och några kräver ett kort fritt svar. Materialet är på engelska och utgår till största delen från amerikansk rätt (till exempel amerikanska processregler och bevisregler), med inslag från andra länder som Kanada. Svensk eller europeisk rätt testas inte.
Siffran är andelen rätta svar i procent. Toppmodellerna ligger tätt, mellan 86 och 89 procent, och felmarginalen (± efter siffran) är runt 0,4 procentenheter, så skillnader på några tiondelar säger lite. Eftersom uppgifterna är offentliga kan de ha funnits med i modellernas träningsdata. Listan säger alltså mest om grundläggande juridiskt resonemang i korta uppgifter, inte om modellen kan göra verkligt juridiskt arbete som utredningar eller avtalsgranskning. Den senaste körningen är från 13 oktober 2026, så modeller som släppts efter det (till exempel Claude Opus 5.5) saknas.