LLM-as-a-Verifier

LLM-as-a-Verifier är ett ramverk för att kontrollera om en AI gör rätt, utan att någon modell behöver tränas. En språkmodell används som domare, men i stället för att bara svara "godkänt" eller "underkänt" ger den finkorniga poäng. Idén är enkel: använd en finare skala (till exempel 1–20 i stället för 1–5), räkna på hela sannolikhetsfördelningen över poängsiffrorna i stället för bara den mest sannolika, och skala upp genom att bedöma flera gånger och dela upp bedömningen i flera kriterier.

Poängen kan användas på tre sätt: för att välja det bästa av flera förslag (test-time scaling), för att följa hur långt en agent kommit under en uppgift (till exempel en robot som lägger en majskolv på en tallrik, eller en kodagent som installerar paket), och som belöningssignal vid förstärkningsinlärning. Forskarna beskriver verifiering som en ny axel att skala AI längs, vid sidan av förträning, efterträning och beräkning vid svarstillfället.

Enligt forskarna når metoden toppresultat inom kod, robotik och medicin: 86,5 procent på Terminal-Bench V2, 78,2 procent på SWE-Bench Verified, 87,4 procent på RoboRewardBench och 73,3 procent på MedAgentBench. Som belöningssignal gav den ungefär 1,8 gånger bättre dataeffektivitet vid finjustering av en robotpolicy på LIBERO och ungefär 1,1 gånger bättre vid matematikträning av Qwen3-8B.

Det finns ett Python-paket (pip install llm-verifier) med tre enkla funktioner: välja bästa kandidat, jämföra två kandidater och följa framsteg, samt ett tillägg för Claude Code. Koden är MIT-licensierad. Arbetet kommer från Stanford University, UC Berkeley och NVIDIA Research, med bland andra Chelsea Finn, Marco Pavone, Ion Stoica och Azalia Mirhoseini.