Lucida

Lucida återskapar riktiga inomhusmiljöer, till exempel ett stökigt rum, som en samling hela och separata 3D-objekt placerade som i verkligheten. Varje möbel eller sak blir ett eget redigerbart 3D-nät som kan flyttas och användas i simulering, till exempel för att träna robotar ("real-to-sim").

Metoden arbetar i tre steg. Först tolkas inspelningen: informativa bildrutor väljs ut, samma objekt kopplas ihop mellan olika vyer och en kontrollerad scengraf byggs med masker, delvisa punktmoln och 3D-lådor. Sedan genereras varje objekt: en bild av objektet utan skymmande saker skapas och lyfts till en komplett 3D-modell. Till sist placeras objekten. Där används GizmoAct, där en bild- och språkmodell styr ett 3D-redigeringsprogram i en sluten loop och gör en justering i taget av objektets läge tills det renderade objektet stämmer med inspelningen.

Enligt forskarna förbättrar Lucida 3D-objektdetektion, positionsbestämning av objekt och fullständig scenrekonstruktion på testerna R2S, CA-1M och Aria Digital Twin. Projektsidan har en interaktiv 3D-demo, men ingen kod, modell eller artikellänk publicerades där när detta skrevs, och något exakt publiceringsdatum framgår inte.

Arbetet kommer från ByteDance Seed, med praktikanter från Peking University och Zhejiang University.