UniGeo

UniGeo handlar om kamerastyrd bildredigering: man ger modellen en bild och anger hur kameran ska flyttas, vridas eller zooma, och får tillbaka samma scen sedd från den nya vinkeln. Svårigheten är att hålla formen på scenen oförändrad. Tidigare metoder ger ofta förvrängda föremål eller konstiga detaljer när kameran rör sig.

UniGeo bygger på en videomodell, vilket ger en naturlig känsla för hur en vy övergår i en annan när kameran rör sig. Bilden lyfts först till ett 3D-punktmoln som visar scenens geometri. Den informationen förs sedan in på tre nivåer: som extra indata för varje bildruta, genom en uppmärksamhetsmekanism som förankrar alla vyer i den första bildrutan, och genom att träningen lägger extra vikt vid slutpunkten av kamerans bana. Enligt forskarna slår UniGeo tidigare metoder i både bildkvalitet och geometrisk konsekvens på flera publika tester.

Kod, modellvikter och en demo på Hugging Face finns. Enligt projektets README bygger lösningen på modellerna VGGT och Wan, bilder bör vara liggande eller kvadratiska och inferensen kräver omkring 23 GB grafikminne. Arbetet kommer från ReLER-labbet vid Zhejiang University tillsammans med Harvard University och är antaget till ECCV 2026.

AI Search beskrev UniGeo som redigering av både bilder och videor. Enligt projektets egna källor handlar det om att skapa nya kameravinklar av en stillbild med hjälp av en videomodell.