HarnessEval

HarnessEval är MirroS idé om att utvärdera AI med en så kallad harness, alltså en agent med verktyg och arbetsflöden, i stället för en fast poängmall. Det första exemplet heter HarnessEval-W och är ett test för interaktiva världsmodeller, alltså modeller som skapar video utifrån en startbild och handlingar som kamerarörelser eller textinstruktioner. MirroS jämför arbetssättet med Sherlock Holmes: agenten letar ledtrådar, kopplar ihop dem och drar en slutsats.

Testet bedömer tre saker. Bildkvalitet: ser videon trovärdig och sammanhängande ut? Rätt övergångar: utförs den begärda handlingen, till exempel att kameran rör sig, att ett föremål ändras eller att något fysiskt händer, vid rätt tidpunkt? Och beständighet: ser världen likadan ut när man kommer tillbaka till en plats, och fortsätter saker som händer utanför bild som de ska?

För varje testfall väljer huvudagenten vilka av nio färdigheter som passar, till exempel en som kontrollerar fysisk rimlighet eller en som kontrollerar att en plats är densamma vid återbesök. Varje fråga bryts ner i mindre delfrågor som underagenter och verktyg besvarar, och resultatet blir ett bevisträd som visar vad som testades och varför poängen blev som den blev. Testfallen tas själva fram av agenter som genererar startbilder och handlingar och sorterar bort orimliga fall.

Testet omfattar 330 fall och enligt projektsidan har 18 världsmodeller utvärderats. Koden och testet är öppna på GitHub, och en publik uppsättning på 100 fall med topplista släpptes i september 2026. Projektsidan anger inte vilken AI-modell agenterna själva använder.