En öppen världsmodell som gör om en vanlig video till en 4D-värld där man kan flytta kameran fritt och pausa eller spola tiden, i realtid.
InSpatios bild av idén: från tillståndslös videogenerering till en värld förankrad i referensvideon [1]
InSpatio-World tar en vanlig video som utgångspunkt och låter användaren röra sig fritt i scenen: se samma händelse från andra vinklar, pausa, sakta ner eller spola tillbaka tiden. InSpatio beskriver den som den första 4D-världsmodellen som styrs av en referensvideo.
Idén kallas State-Anchored World Modeling. I stället för att skapa bildrutor var för sig håller modellen ett lokalt världstillstånd förankrat i referensvideon, så att scenen inte driver iväg eller förändras när man utforskar länge. Arkitekturen bygger på spatiotemporal autoregression med ett minne av tidigare bilder, och en träningsteknik som kallas Joint Distribution Matching Distillation blandar verklig och syntetisk data. Grundmodellen är Wan2.1 med 1,3 miljarder parametrar.
Enligt InSpatio rankas 1,3B-modellen först bland alla modeller med realtids- eller interaktiv hastighet på topplistan WorldScore-Dynamic. Den kör i 24 bilder per sekund på ett Nvidia-kort i H-serien och 10 bilder per sekund på ett RTX 4090. Användningsområden som nämns är robotik och förkroppsligad AI, självkörande bilar och "4D-fotoalbum".
Koden och vikterna är öppna under Apache 2.0. Den 24 september 2026 kom efterträdaren InSpatio-World 1.5, som även tar bilder och panoramor som indata.
Inte bedömd än. Alla kan ändra.
Inga kommentarer än. Skriv gärna vilket projekt den kan passa i.