GAE

GAE (Geometry-Native Autoencoder, i artikeln "Learning a Geometry-Native Latent Space for 3D-Consistent World Generation") angriper ett vanligt problem i video- och världsgenerering: när kameran rör sig ändras ofta rummet på ett sätt som inte stämmer i 3D. Vanliga modeller genererar bara utseendet och försöker i efterhand räkna ut geometrin.

GAE lägger geometrin i själva det inre format som modellen genererar i. Forskarna tar egenskaper från 3D-modellen Depth Anything 3 (3 072 kanaler) och komprimerar dem till ett litet, välbalanserat tillstånd på 64 eller 128 kanaler. Generatorn skapar direkt i det formatet, och varje resultat kan avkodas till både färgbild, djup, kamerapositioner och ett 3D-punktmoln.

Från en enda bild och en kamerabana skapar GAE en sekvens på 81 vyer i 672 × 378 pixlar tillsammans med geometrin. Enligt forskarna ger det bäst generering (FVD 256,4) bland de jämförda formaten och bättre 3D-konsekvens. Den släppta modellen, GAE-D64-1B, har cirka en miljard parametrar och kan också skapa bilder från text.

Arbetet kommer från Hong Kong University of Science and Technology, Tencents ARC Lab, University of Hong Kong och University of Texas at Austin. Kod och vikter är släppta av Tencent ARC men får enligt licensen bara användas för akademiska ändamål, inte kommersiellt.