InfiniSplat v2

InfiniSplat v2 (Analyzing and Improving Feed-Forward 3DGS from Any Views) är ett forskningsprojekt som gör om en samling bilder till en 3D-scen i formatet 3D Gaussian Splatting, där scenen byggs upp av miljontals små färgade, genomskinliga "fläckar". Modellen gör det i ett enda svep, utan den långa optimering per scen som sådana metoder traditionellt kräver. Den fungerar både när man vet var kameran stod för varje bild och när man inte vet det.

Forskarna har analyserat varför tidigare modeller av den här typen ger sämre bilder när man tittar på scenen från helt andra vinklar än fotona. Lösningen är en modell med två delar: en del för geometrin som hålls fryst och en del som lär sig hur fläckarna ska se ut. Under träningen justeras modellens uppskattade 3D-form mot de verkliga kamerapositionerna, och den tränas mot vyer som skiljer sig mycket från indata. Enligt forskarna lär sig modellen dessutom att göra felaktiga punkter genomskinliga, vilket minskar störningar i bilden.

Enligt artikeln når samma tränade modell bäst resultat bland de jämförda metoderna på sex dataset, både med och utan kamerapositioner. Med kända kamerapositioner minskar felmåtten LPIPS och DISTS med 25,8 respektive 32,9 procent jämfört med de starkaste jämförelsemetoderna. Modellen bygger vidare på Depth Anything 3 och har även visats rekonstruera över 1 000 bildrutor från KITTI-datasetet för självkörande bilar. Den tar 2–32 bilder som standard, och det finns verktyg för att göra om 360-graderspanoramabilder till 3D-scener.

Arbetet kommer från ZJU3DV-gruppen vid Zhejiang University tillsammans med Hello TransTech, Shenzhen University och Causa Robotics. Det är en uppföljare till InfiniSplat (v1), som gör 3D-scener av en enda bild.