OpenWAM

OpenWAM är ett öppet forskningsprojekt om så kallade World–Action Models (WAM): modeller som utgår från videogenererande AI, som har lärt sig hur världen ser ut och rör sig, och omsätter den kunskapen i styrsignaler till robotar. Forskarna menar att befintliga sådana system är monolitiska, där bas-modell, bildrepresentation, arkitektur och träningsdata är hopkopplade, så att det är svårt att veta vilka val som faktiskt spelar roll.

Projektet har tre delar. OpenWAM-Infra delar upp designen i utbytbara moduler (fyra bildkodare, fem videomodeller, sex arkitekturvarianter och fyra uppmärksamhetsmasker) med gemensam träning, körning och utvärdering. OpenWAM-Study använder den för kontrollerade experiment om vad som ska ärvas från videomodellen, hur världs- och handlingsinlärning samverkar och hur det skalar. Slutsatserna är bland annat att handlingsdelen behöver egen kapacitet och tydligt informationsflöde från världsdelen, och att förträning på robotdata framför allt förbättrar förmågan att klara okända situationer.

Den tredje delen är modellen OpenWAM-α, byggd enligt de slutsatserna på videomodellen Wan2.2-TI2V-5B och förtränad på cirka 6 400 timmar (518,5 miljoner bildrutor) data, varav 70 % robotdata och 30 % video filmad ur människors eget perspektiv. Enligt forskarna presterar den genomgående i toppklass på åtta simuleringstester och i försök med riktiga robotar, från enarmade och tvåarmade robotar till robothänder. Hela stacken, med kod, utvärderingsprotokoll, förtränade modeller och datarecept, är släppt under Apache 2.0, och modellerna finns på Hugging Face.

Arbetet leds av forskare vid National University of Singapore och Tsinghua University, med flest medförfattare från Peking University och medverkan från The University of Hong Kong, Zhejiang University, The Chinese University of Hong Kong och Shanghai Jiao Tong University.