En öppen världsmodell som gör om en bild, flera bilder, en panoramabild eller en video till en scen man kan utforska från nya vinklar i realtid, med större kamerarörelser än förra versionen.
Video som indata (infälld) och en ny kameravinkel på samma scen med en tornado [1]
InSpatio-World 1.5 är uppföljaren till InSpatio-World. Den första versionen utgick från en enda video, medan 1.5 även tar en enskild bild, en uppsättning bilder eller en panoramabild som startpunkt. Enligt InSpatio klarar den mycket större ändringar av kamerans position än tidigare och håller ändå scenen konsekvent, så att områden som var dolda i originalbilden ser trovärdiga ut och passar stilen.
Modellen har tränats på att förutsäga nästa vy, alltså hur en scen ser ut från en ny kameraposition, med stora mängder data från verkliga scener där saker rör sig. Med video som indata kan man både flytta kameran och välja när i förloppet man tittar. Med flera synkroniserade bilder kan man skapa så kallade bullet time-sekvenser, där kameran glider runt ett fruset ögonblick. InSpatio nämner filmfoto, immersiva upplevelser och forskning om spatial och förkroppsligad AI som användningsområden.
Standardmodellen har 1,3 miljarder parametrar och bygger på Wan2.1-T2V-1.3B, med Depth-Anything-3 för djupuppskattning. Video arbetar i upplösningen 832×480. Koden ligger öppet under Apache 2.0 och vikterna finns på Hugging Face och ModelScope, och det finns en webbdemo. InSpatio anger ingen bildfrekvens för 1.5, bara att exemplen körs i realtid.
Inte bedömd än. Alla kan ändra.
Inga kommentarer än. Skriv gärna vilket projekt den kan passa i.