En träningsmetod som gör bild- och videogeneratorer så snabba att de klarar sig med fyra steg i stället för femtio, med bibehållen bild- och ljudkvalitet.
Bild från SDXL med fyra steg [1]
DMAD (Distribution Matching as Adversarial Distillation) är ett forskningsprojekt om destillering, alltså att lära en snabb "elevmodell" att efterlikna en långsam "lärarmodell". Bild- och videogeneratorer bygger normalt upp sina resultat i många steg, ofta femtio eller fler, vilket tar tid och kräver mycket beräkningskraft. DMAD lär eleven att göra samma sak på några få steg.
Metoden kombinerar två vanliga sätt att destillera: att matcha fördelningen av lärarens resultat och att använda en granskare (diskriminator) som försöker skilja äkta från genererat material. I DMAD har granskaren ett gemensamt nätverk med två huvuden. Lärarens, elevens och riktiga exempel brusas och klassificeras, och skillnaderna används för att vikta hur eleven ska förbättras.
Forskarna har tillämpat metoden på flera modeller: MiniMax-H3 (33 miljarder parametrar, som gör video med ljud), Wan2.1-T2V (1,3 och 14 miljarder parametrar), SDXL och en EDM-modell för små ImageNet-bilder. Med MiniMax-H3 blir det fyra steg i stället för femtio, för video i 1344x768 med stereoljud. Enligt forskarna föredrog mänskliga bedömare DMAD:s MiniMax-H3-videor framför de jämförda metoderna DMD2 och rCM.
Arbetet kommer från Texas A&M University tillsammans med ByteDance. Koden finns på GitHub under Apache 2.0, och vikterna på Hugging Face, där MiniMax-H3-delen följer MiniMax-H3:s egen licens. Det finns också färdiga ComfyUI-arbetsflöden som enligt forskarna klarar 5 sekunders video på grafikkort med 8 GB minne.
Inte bedömd än. Alla kan ändra.
Inga kommentarer än. Skriv gärna vilket projekt den kan passa i.