Viggle-Animate

Viggle-Animate byter ut en karaktär i en video. Man tar en bildruta ur videon, målar om figuren i den med valfritt bildverktyg (till exempel en bildgenerator) så att den blir en panda, en robot eller en tecknad figur, och modellen gör sedan om hela videon så att den nya figuren rör sig exakt som originalet. Kamerarörelser och tajming behålls.

Till skillnad från många liknande verktyg behövs ingen skelettanalys av poser, inga masker, ingen ansiktsspårning och ingen textprompt i videosteget. Modellen har 33,1 miljarder parametrar och är en fullständig finjustering av Minimax videomodell MiniMax-H3. Enligt Viggle tar ett klipp på 124 bilder (cirka 5 sekunder i 480 × 832) ungefär 26 sekunder på ett NVIDIA B200, ungefär sex gånger snabbare än Wan2.2-Animate-14B. Den kräver mycket grafikminne: ett kort med 80 GB räcker inte, Viggle rekommenderar 96 GB eller mer, men det finns ett långsammare läge som klarar sig med omkring 12 GB.

Viggle skriver öppet om begränsningarna: resultatet blir aldrig bättre än den ommålade bilden, läppsynken var svag i den släppta inställningen (men blir bättre om man skickar med ljudspåret), och scener med flera figurer, nära samspel eller klipp blir sämre. Enligt modellkortet tränas en bättre modell redan.

Vikterna ligger på Hugging Face under MiniMax H3 Community License, medan koden är under Apache 2.0. Det finns en demo på Hugging Face och ComfyUI-noder från communityn.