GPT-Policy

GPT-Policy undersöker hur mycket en färdig, allmän AI-modell som ser bilder och förstår text (en VLM, här bland annat GPT-6 Astra) kan lära en robot nya uppgifter direkt på plats, så kallad in-context-inlärning. Modellen tränas aldrig om. I stället får den sammanhang: filmer där en människa utför uppgiften, robotdemonstrationer med inspelade rörelser, en bild av hur slutresultatet ska se ut, tidigare egna försök och återkoppling från en människa under arbetet. Trots namnet är det inte en OpenAI-produkt.

Ramverket består av två delar. En "context compiler" sorterar fram den information som är relevant för uppgiften, och ett exekveringslager låter modellen peka ut positioner i bilden, planera rörelser i korta sjok och få återkoppling efter varje steg. En styrenhet kontrollerar och utför de handlingar modellen föreslår, bland annat med invers kinematik.

Forskarna testade på tio verkliga uppgifter med fem typer av sammanhang och på tio simulerade uppgifter i RoboDojo. Enligt artikeln steg andelen lyckade försök på fyra demonstrationsuppgifter från 10 procent utan demonstrationer till 80 procent med människofilmer eller robotdemonstrationer. I simuleringen nådde GPT-Policy 72 procent lyckade försök med en enda demonstration (medelpoäng 80,20 av 100). Forskarna skriver samtidigt att pålitligt fysiskt utförande fortfarande är en utmaning.

Koden finns på GitHub för granskning och utvärdering, men utan vald licens för vidarespridning eller kommersiellt bruk. Den stödjer robotarmarna ARX X5 och I2RT/YAM. Arbetet leds från det kinesiska robotföretaget Morphi Robot tillsammans med bland annat Shanghai Innovation Institute, Fudan University och The Chinese University of Hong Kong.