WorldCrafter

WorldCrafter (Consistent Video World Model with Implicit 3D-aware Memory) är ett forskningsprojekt från ARC Lab på Tencent IEG tillsammans med Peking University. Utgångspunkten är en enda bild eller en textbeskrivning, och modellen genererar sedan en sammanhängande video medan användaren styr kameran, så att det känns som att röra sig runt i en värld.

Ett vanligt problem med sådana modeller är att världen ändrar sig när man vänder bort blicken och sedan tittar tillbaka. WorldCrafter löser det med ett slags minne: tidigare bildrutor komprimeras till ett fast antal minnestecken som anpassas efter den kameravinkel man begär, utan att modellen behöver räkna ut djup eller vrida om bilder geometriskt. Minnet håller kvar hur platserna såg ut, medan de senaste bildrutorna sköter rörelser som pågår. Enligt forskarna klarar modellen även att en rörlig figur som lämnar bilden ser likadan ut när den kommer tillbaka.

Modellen klarar utforskning i minutlånga sekvenser, både i stillastående och rörliga scener, och en destillerad snabbversion med få steg gör enligt projektsidan interaktiv strömning i realtid möjlig. Den kan också ta flera bilder som indata och skapa nya vyer av en scen. Enligt artikeln förbättrar den konsekvensen när man återvänder till tidigare platser och precisionen i kamerastyrningen jämfört med de testade alternativen, på ett test med 145 scener och 725 kamerabanor, och får högst totalpoäng i VBench.

Två modeller finns på Hugging Face: WorldCrafter-Base och den snabbare WorldCrafter-Fast. Koden, en interaktiv demo som styrs med tangentbordet, träningskod och en del av träningsdatan är öppna. Basmodellen bygger på Helios-Base. Licensen tillåter bara akademisk användning, inte kommersiell.