Fire3D

Fire3D (Feed-forward Interactive 3D Scene Reconstruction Within A Minute) tar en vanlig bild eller en enkel mobilvideo av ett rum och bygger upp en 3D-scen där varje föremål är en egen, komplett 3D-modell med textur. Även rummet självt (väggar, golv) blir en egen del. Föremålen kan sedan flyttas och redigeras var för sig, till exempel i spel eller simuleringar.

Andra metoder brukar bara lösa en del av problemet: vissa hittar föremålen men ger inga kompletta 3D-modeller, andra skapar ett föremål i taget men kräver att man markerar det först, och ytterligare andra optimerar fram en hel scen men tar minuter till timmar per inspelning. Fire3D gör allt i ett flöde utan optimering per scen: modellen räknar ut hur många föremål som finns, var de står och hur de är vända, och skapar sedan kompletta modeller av dem, även de delar som inte syns i bilden.

Enligt forskarna klarar systemet upp till tolv texturerade föremål, inklusive bakgrunden, på under en minut, och upp till 16 föremål kan skapas parallellt på ett grafikkort tack vare en komprimerad representation (HC-VAE). Det bygger delvis på Pi3X för kamerapositioner och djup, och på delar från TRELLIS.2 och DINOv3.

Arbetet kommer från University of Illinois Urbana-Champaign och Cornell University. Kod (även träningskod), modellvikter och exempeldata är släppta; Fire3D:s egen kod är MIT-licensierad, medan de medföljande delarna från DINOv3 och TRELLIS.2 har sina egna licenser. Forskarna testade utgåvan på ett grafikkort med 96 GB minne.