Qwen-Video-Edit

Qwen-Video-Edit är ett forskningsprojekt som visar att en bra bildredigeringsmodell kan redigera video utan att man behöver träna en stor videomodell från grunden. Man skriver en instruktion, till exempel att byta stil eller ändra ett föremål, och modellen ändrar hela videoklippet.

Tricket är att videons bildrutor läggs ut som rutor i en enda stor bild som bildmodellen Qwen-Image-Edit redan förstår. Två små tillägg översätter mellan videomodellen Wan 2.1:s format och bildmodellens, och sedan finjusteras allt på den öppna datamängden Ditto-1M. Några steg med Wan 2.2 kan dessutom användas för att göra rörelserna jämnare. Långa videor kan redigeras bit för bit, med olika instruktioner för olika delar, och stående video fungerar också.

Trots namnet kommer projektet inte från Qwen-teamet på Alibaba. Huvudförfattaren Yunpeng Bai är doktorand vid University of Texas at Austin med Qixing Huang som handledare, och medförfattare är Yossi Gandelsman och Michaël Gharbi. Koden finns på GitHub och modellvikterna på Hugging Face och ModelScope under MIT-licens, med kontrollpunkter för 360p, 480p och 720p samt stöd för ComfyUI. Observera att modellen bygger på Qwen-Image-Edit och Wan, som har egna licenser.