AgentGarten

AgentGarten kombinerar två sätt att bygga världar åt AI-agenter. Själva världen är ett program: objekt, regler och mål finns i kod, så att allt kan inspekteras och ändras. Det agenten ser ritas däremot upp av en inlärd neural renderare, som gör om det djup och de ytnormaler som programmet exporterar till realistiska bilder. På så sätt slipper man bygga detaljerade 3D-modeller och texturer för varje ny värld, och samma värld kan få olika utseenden.

Renderaren skapar bilderna i korta block så att agenten kan agera, se vad som händer och bestämma nästa steg innan nästa block skapas. Den bygger på Nvidias Cosmos3-Nano och har tränats med en metod som MirroS kallar Adversarial Forcing för att hålla bilderna stabila över långa förlopp. Enligt projektsidan kör den i över 30 bilder per sekund i 480 × 832 på ett H100-kort.

MirroS testade upplägget med kurragömma, samma lek som OpenAI använde i en känd studie 2019. Agenterna, som bygger på GPT-6 Astra, ser bara renderade bilder i första person, styr med korta Python-program och skriver efter varje runda ner lärdomar i en "playbook" som nästa runda får läsa. Enligt MirroS byggde gömmarna skydd med en skärm redan i runda 4 och sökarna använde ramper för att ta sig över väggar i runda 10, medan OpenAIs agenter behövde runt 25 respektive 100 miljoner träningsomgångar. Samma metod prövades också i fyra andra världar: en hund som ska hållas glad, två bilar på en enfilig bro, vallning av får och en hjullastare i ett stenbrott.

Renderarens vikter och tränings- och inferenskod är släppta. Själva kodvärldarna och agenternas övningsloop ska enligt MirroS släppas senare.