GenIA

GenIA (Generative Reconstruction with Test-Time Input Alignment) är ett forskningsprojekt som gör om en eller flera bilder, eller en vanlig video, till ett komplett 3D-objekt. Generativa 3D-modeller som Metas SAM 3D Objects kan gissa hur ett föremål ser ut även på sidor som inte syns i bilden, men resultatet stämmer ofta inte riktigt med förlagan: formen, färgerna eller objektets position och storlek blir fel.

GenIA löser det genom att styra den färdigtränade SAM 3D-modellen medan den genererar objektet, i stället för att träna om den. Metoden använder geometrin och utseendet i de bilder man faktiskt har som rättesnöre: storlek och position räknas fram ur geometrin, utseendet justeras mot bilderna under själva genereringen, och ett valfritt efterarbete finjusterar färger och placering ytterligare. Det gör att samma modell, som bara tränats på enstaka stillbilder, också klarar flera vyer och rörliga objekt i video. För video hämtas formerna i varje bildruta från Metas modell ActionMesh, och GenIA tar fram ett gemensamt utseende och en stabil placering i rummet.

Enligt forskarna ger GenIA bättre position och 3D-rekonstruktion än tidigare metoder på både syntetiska och verkliga tester, med en bild, flera vyer och video. Projektsidan redovisar också begränsningar: rotationen styrs fortfarande mest av modellens egna antaganden, och i video kan fel i ActionMesh eller i placeringen göra resultatet betydligt sämre.

Arbetet kommer från Tübingen AI Center vid Tübingens universitet och Meta (Reality Labs). Koden finns på GitHub under licensen CC BY-NC 4.0, alltså bara för icke-kommersiellt bruk, och flera av de ingående delarna har egna licenser. Den kräver ett Nvidia-grafikkort.