FlaRe

FlaRe (Floating Radiance Networks) är en metod för att lagra en 3D-scen som byggts upp från foton. De flesta sådana representationer, som NeRF eller Gaussian splatting, är knutna till ett enda sätt att rendera. FlaRe försöker förena fördelarna: scenen består av platta, svävande gaussiska element med tydlig geometri som kan strålspåras, och varje element bär en liten beskrivning av ljuset lokalt. En gemensam, lätt neural avkodare räknar ut färg och genomskinlighet där en stråle träffar elementet.

Eftersom geometrin är explicit kan scenen användas till mer än att bara titta på. Projektsidan visar redigering av geometrin (deformation utan omträning), vanliga 3D-modeller som en Fiat 126p inplacerade i den neurala scenen med speglingar, stilöverföring som fortfarande kan strålspåras, glas, metall och speglar med reflektion och brytning, samt export till mesh.

Enligt forskarna ger FlaRe 28,93 dB PSNR på Mip-NeRF 360 med 16,53 bilder per sekund och 207 MB minne, alltså konkurrenskraftig bildkvalitet i en kompakt form.

Arbetet kommer från Jagiellonian University, Poznań University of Technology och IDEAS Research Institute i Polen. Koden finns på GitHub under Gaussian Splatting-licensen, som bara tillåter forskningsanvändning, och kräver ett NVIDIA-grafikkort med OptiX-stöd.