Text2Sim

Text2Sim gör om en vanlig textbeskrivning, till exempel "dra långsamt en duk under tallrikar och glas", till en fysiksimulering som går att köra och ändra i. Att bygga sådana simuleringar för hand är tidsödande, eftersom föremål, placering, fysikaliska egenskaper, rörelser, styrning och rendering måste tas fram och felsökas tillsammans.

Systemet bygger på simuleringsplattformen Genesis och består av flera samarbetande AI-agenter. En planerare fördelar arbetet på fyra skribenter som skriver kod för scenen, kropparna, rörelserna och renderingen, och särskilda verktyg tar fram 3D-föremål och ledade mekanismer. När programmet har körts granskar en fristående kritiker koden, de uppmätta värdena och de renderade bilderna och föreslår riktade rättelser. Till hjälp finns så kallade Debug Cards, korta råd om fysik och felsökning som destillerats fram ur exempel från datorgrafikforskning.

Forskarna testade systemet på 42 uppgifter med stela föremål, ledade mekanismer, mjuka kroppar och tyg. Enligt artikeln fick Text2Sim högre poäng än fyra andra system, bland dem GPT-5.6-Sol, både för fysikalisk och visuell kvalitet, och fler deltagare i blindtester föredrog dess resultat.

Arbetet kommer från Tsinghua University, Carnegie Mellon University, Genesis AI och Shanghai Qi Zhi Institute. Kod, Debug Card-biblioteket och en datamängd med genererade simuleringar ska släppas men var vid genomgången markerade som "Coming soon".