GE-Act 2.0

GE-Act 2.0 (Genie Envisioner Act 2.0) är en så kallad världs- och handlingsmodell för robotarmar från AgiBot. Den förutser först hur framtiden ska se ut, alltså hur scenen ser ut när uppgiften är gjord, och räknar sedan ut vilka rörelser som behövs för att komma dit. Till skillnad från många liknande modeller bygger den inte på en färdig videogenerator, utan alla delar är tränade från grunden på data från robotar som hanterar föremål.

Modellen har tre delar. En komprimerare (CoAE) gör om varje kamerabild till bara 24 tokens men behåller det som spelar roll för rörelser och instruktioner. En planerare (SVP) skapar hela den framtida bildsekvensen i ett enda steg utifrån instruktionen och vad kameran ser. En tredje del (IDM) gör om nuläget och den förutsagda framtiden till konkreta armrörelser. Hela kedjan tar enligt AgiBot 104 millisekunder per rörelsesekvens på ett RTX 5090.

AgiBot har undersökt hur modellen blir bättre med mer data. När träningsdatan ökade från 300 till 30 000 timmar steg andelen lyckade försök på helt nya situationer från 17,1 % till 44,1 % på roboten G1-OP och från 13,4 % till 31,1 % på G2-90D, utan finjustering för enskilda uppgifter. Testerna omfattade 100 uppgifter i 20 färdighetsgrupper. Att G2-90D förbättrades så mycket, fast den stod för under 2 % av datan, tolkar forskarna som att kunskap förs över mellan olika robotar.

Artikeln och projektsidan är publicerade, men koden är markerad som "kommer snart" och inga modellvikter är släppta.