PlayTrain

PlayTrain är ett forskningsramverk för förstärkningsinlärning (RL) där träningsmiljöerna är datorspel som en språkmodell har skrivit. Att bygga eller ändra spelmiljöer för AI-forskning har traditionellt krävt mycket handkodning. Med PlayTrain räcker en enda JavaScript-fil som en språkmodell skriver från en kort beskrivning, och samma fil kan både spelas av en människa i webbläsaren och köras som en vanlig Gymnasium-miljö för att träna agenter.

Ramverket har tre delar: en körmiljö som kör p5.js- och Matter.js-spel utan webbläsare (med inbäddad QuickJS och egen rasterisering), en del som låter en språkmodell skriva och ändra spel med en kontroll i fem steg innan ett spel godkänns, och ett separat paket med tränare (IMPALA och PPO). Enligt forskarna kan agenter som lär sig direkt från pixlar tränas med över en miljon beslut per sekund på en enda GPU-nod, mätt på en svit av 24 spel som är kloner av ProcGen- och Atarispel.

Eftersom spelen är vanlig kod går det enkelt att be språkmodellen ändra regler, nivågenerering eller spelmekanik och sedan se hur agenterna anpassar sig. Katalogen har 51 spel, bland annat kloner av Atari- och ProcGen-spel, egna spel och varianter, och projektet har även portat Craftax-Classic och 23 DeepMind Lab-banor. Alla går att spela på playtrain.org. I en studie jämfördes 20 människors resultat med agenternas på åtta av spelen.

Arbetet kommer från Harvard University, MIT, Kempner Institute och Yale University, och koden är öppen under MIT-licens.