GEN-1.5

GEN-1.5 är den senaste grundmodellen för robotar från Generalist AI, efter GEN-0 och GEN-1. Det är en stor multimodal modell som tar in video (med 30 sekunders minne), andra sensordata, språk och robotens egen kroppsuppfattning, och som styr robotarmarna med rörelsebanor 100 gånger per sekund.

Det nya är det företaget kallar "fysisk promptning": man visar roboten en uppgift i 3–12 sekunder, och modellen kan sedan utföra den på egen hand utan att vikterna tränas om. Enligt Generalist lyckades modellen i snitt i 59 procent av försöken på tio sådana uppgifter. Om modellen dessutom får tio korta träningssteg på fem minuters data per uppgift steg det till 83 procent. Träningsstegen ändrar vikterna med mindre än 0,15 procent.

Företaget beskriver också förmågor som dykt upp utan att de tränats specifikt: att kedja ihop flera demonstrationer, att efterlikna en människas rörelser, att improvisera med andra verktyg och föremål, att använda båda händerna omväxlande, och att överföra en uppgift från simulering till verklighet trots att förträningen inte innehöll någon simuleringsdata. Förträningen har pågått oavbrutet i över åtta månader.

Generalist är själva tydliga med begränsningarna: uppgifterna är enkla och korta, lyckandegraden måttlig, och färdigheter som lärts in från en demonstration är skörare än de som finjusterats. Modellen är inte släppt för allmänheten; blogginlägget nämner varken API eller öppna vikter.