WorldSculpt

WorldSculpt (Generating Compositional Worlds from Grounded Videos) rekonstruerar scener med många föremål som separata 3D-modeller i stället för som ett enda sammanhängande nät. Utgångspunkten är bilder eller video av en scen där varje föremål är markerat med en mask och en 3D-ruta. För varje föremål bygger metoden en komplett form, även de delar som är skymda, och sätter sedan ihop scenen genom att bara flytta och vrida föremålen på plats.

Tekniskt anpassar forskarna Pixal3D, en generativ modell för enskilda objekt, så att den kan ta emot flera delvis skymda vyer. Bilderna beskärs och förs över till ett gemensamt koordinatsystem för objektet, och bilddrag från DINOv3 lyfts in i ett 3D-rutnät och vägs samman. Modellen tränades bara på enskilda objekt men klarar enligt forskarna scener med hundratals föremål. Den kan också göra om 3D Gaussian Splatting-scener, till exempel världar skapade med World Labs Marble, till separata nät som kan redigeras vidare.

Forskarna släpper också testet UE-MeshyScene: sex fotorealistiska miljöer byggda i Unreal Engine med upp till flera hundra föremål vardera, med kamerapositioner, masker, 3D-rutor och djup. Facit-näten hålls inne av upphovsrättsskäl. Projektsidan redovisar inga sifferresultat, bara exempelbilder.

Arbetet kommer från Alaya Lab och University of Tokyo. Koden och de finjusterade vikterna är öppna under Apache 2.0, medan den inbyggda Pixal3D-koden är MIT-licensierad och DINOv3 har Metas egen licens.