CoDimRecon

CoDimRecon är ett forskningsprojekt där en AI-agent bygger upp en simuleringsklar 3D-scen från vanliga färgbilder tagna från flera vinklar. Tidigare metoder utgår oftast från att allt i scenen är stelt. CoDimRecon klarar även föremål med rörliga delar, som lådor med skenor, och mjuka föremål som telefonsladdar, plastpåsar och dynor.

Agenten arbetar i tre steg. Först bygger den en redigerbar scen med hjälp av geometri från bilderna och genererade 3D-modeller som förebild. Sedan förfinar den utseende, leder och stabilitet. Till sist återskapar den de mjuka föremålen efter hur många dimensioner de har: sladdar blir kurvor med tjocklek, påsar blir tunna skal och dynor blir massiva kroppar. Varje föremål får fysikaliska egenskaper som massa och friktion, och simulerade robottester visar var modellen inte stämmer så att agenten kan rätta till rörelse, geometri eller material.

Projektsidan visar bland annat en robotarm som lyfter en telefonlur med spiralsladd, en robot som viker papper, en dyna som trycks in och återfår formen, och en humanoid robot av typen G1 som går runt i ett rekonstruerat kontor. Koden är ännu inte släppt; projektsidan anger att den kommer snart.

Arbetet kommer från Tsinghua University (Shenzhen International Graduate School), Carnegie Mellon University och Genesis AI.