VideoDeltaNet

VideoDeltaNet (Video DeltaNet, VDN) är en ny arkitektur som gör stora videomodeller mycket snabbare. Den mest kostsamma delen av videogenerering är uppmärksamhetsberäkningen, där varje del av videon jämförs med alla andra. I MiniMax H3 står den enligt forskarna för mer än 85 procent av körtiden.

VDN delar upp arbetet i två spår. Närliggande bildrutor jämförs exakt med vanlig uppmärksamhet, vilket bevarar detaljer och jämna rörelser, och alla bildrutor ser dessutom videons första och sista bildruta. Allt som ligger längre bort hanteras av en betydligt billigare linjär uppmärksamhet som läser videon framåt och bakåt och sammanfattar den. Forskarna har byggt in tekniken i MiniMax H3 och tränat fram VDN-H3, som även destillerats till 8 steg.

Enligt OpenVDN gör VDN-H3 en 14,4 sekunder lång video i 768p på cirka 9,0 sekunder på åtta B200-grafikkort med SGLang Diffusion, alltså snabbare än uppspelningen, med nästan samma kvalitet som originalet och bättre resultat än MiniMax FastH3. Samma modell klarar text till video och video från första, sista eller både första och sista bildrutan. AI Search angav 11,3 sekunder för 14 sekunders video. Den siffran motsvarar ungefär forskarnas tidigare mätning av bara själva genereringen (11,23 sekunder), medan 9,0 sekunder är deras nyare resultat med SGLang.

Bakom projektet står forskare från UC Berkeley och företaget Impossible, Inc. tillsammans med UT Austin. Vikterna finns på Hugging Face under MiniMax H3:s community-licens, och koden för träning och inferens finns på GitHub under Apache 2.0. Det relaterade projektet FreeVideo bygger på VDN-H3 och kör MiniMax H3 på konsumentgrafikkort med så lite som 8 GB minne.