Zero-WAM

Zero-WAM är ett forskningsprojekt från Robbyant (Ant Group) tillsammans med HKUST och HKUST (Guangzhou). Idén är att en robot ska kunna utföra uppgifter den aldrig tränats på, på samma sätt som en språkmodell kan lösa en ny uppgift bara genom att få ett exempel i sin instruktion. I stället för text får roboten en video där en människa visar vad som ska göras, eftersom en video visar hur uppgiften ska gå till på ett sätt som ord ofta inte klarar.

Modellen är en så kallad världs- och handlingsmodell (world-action model) som både förutser hur videon fortsätter och vilka rörelser roboten ska göra. Eftersom det finns lite data där samma uppgift visas både av en människa och en robot byggde forskarna en automatisk process som gör om robotfilmer till matchande förstapersonsvideor av människor och sorterar bort dåliga exempel. Resultatet blev datasetet HumanGen med 74 200 par av människo- och robotvideor över 8 600 uppgifter. Ett särskilt träningsmål (IFP) tvingar modellen att faktiskt hämta information från människovideon i stället för att gissa utifrån det den redan sett.

Enligt artikeln når Zero-WAM i genomsnitt 47 % lyckade försök (46,95 %) på sju uppgifter i simulatorn RoboTwin 2.0 som den aldrig tränats på, 29,5 procentenheter bättre än den starkaste jämförbara modellen, LingBot-VA. Forskarna visar också försök med riktiga robotar, bland annat långa sekvenser med flera föremål och precisionsuppgifter som att trycka in ett bordsben. Modellvikterna och datasetet finns på Hugging Face och koden på GitHub.