En liten ändring i hur snabba videogeneratorer tränas som filtrerar bort fel i träningssignalen, så att MiniMax-H3 kan göra video med ljud på fyra eller till och med två steg.
Principen: PDMD tar bort den del av uppdateringen som pekar längs granskarens uppskattade fel (r) [1]
PDMD (Projected Distribution Matching Distillation) är ett forskningsprojekt om att göra videogeneratorer snabbare. Sådana modeller bygger normalt upp en video i femtio steg eller fler. Med destillering lär man en snabb "elevmodell" att göra samma sak på några få steg, med hjälp av en granskarmodell som uppskattar hur elevens resultat skiljer sig från lärarens. Men granskaren gör själv fel, och de felen följer med in i elevens träning.
PDMD löser det med en enda rad kod. Den del av träningssignalen som pekar i samma riktning som skillnaden mellan elevens och granskarens resultat, en uppskattning av granskarens fel, tas bort. Enligt forskarna behövs ingen extra förlustfunktion, inget extra nätverk och ingen extra körning av modellen.
Forskarna har destillerat MiniMax-H3 (33 miljarder parametrar), som gör video i 1344x768 med ljud, till fyra steg och även till två. De har också testat metoden på Wan2.1-T2V-1.3B. Enligt deras mätningar på VideoGen-Eval och VBench får PDMD högre totalpoäng än de jämförda fyrstegsmetoderna, och för MiniMax-H3 till och med högre än den ursprungliga modellen med femtio steg.
Arbetet kommer från UC San Diego tillsammans med ByteDance. Koden finns på GitHub och vikterna på Hugging Face, där modellkorten anger Apache 2.0. Vikterna bygger på MiniMax-H3.
Inte bedömd än. Alla kan ändra.
Inga kommentarer än. Skriv gärna vilket projekt den kan passa i.