DuoMatching

DuoMatching (Joint–Marginal Distribution Matching for Few-Step Video Generation) handlar om att destillera stora videomodeller till snabba modeller som skapar video i bara några få steg, ofta strömmande bildruta för bildruta. Den vanliga metoden (distribution matching distillation) låter en stor videomodell vara lärare för hela klippet. Det håller rörelserna stabila, men bildkvaliteten och hur väl videon följer prompten blir lidande.

DuoMatching lägger till en andra lärare: en bildmodell som granskar varje enskild bildruta. Videoläraren styr rörelse och sammanhang över tid, medan bildläraren bidrar med skärpa, komposition och bättre följsamhet mot prompten. För att det ska fungera behövs en översättning mellan videomodellens och bildmodellens interna format, som forskarna kallar LatentBridge, och en teknik som sprider bildlärarens tillsyn över olika delar av klippet.

Enligt forskarna förbättrar metoden bildkvalitet, komposition och följsamhet mot prompten och behåller rörelserna i stort sett. I mänskliga jämförelser föredrogs DuoMatching i över 80 procent av fallen mot alla jämförda metoder (bland andra CausVid och Reward Forcing).

Arbetet kommer från MMLab vid Chinese University of Hong Kong, ByteDance, HKUST och CPII. Koden är öppen under Apache 2.0, och en färdig modell som skapar video i två steg, destillerad från Wan2.1-T2V-14B, ligger på Hugging Face.