DiffSynth-Music

DiffSynth-Music kommer från DiffSynth-Studio-teamet på ModelScope, och forskningsartikeln anger Alibaba Group och Shanghai Jiao Tong University som författarnas hemvist. Det är en svit modeller som bygger på den öppna musikmodellen ACE-Step-1.5 och lägger till styrning med ljud, inte bara med text och sångtext.

Det finns fem sätt att styra: Takt (musiken följer ett klickspår med ett givet tempo), Sång (du ger en sångröst och modellen skapar kompet), Komp (du ger kompet och modellen skapar sången), Prosodi (sångens rytm och tonhöjd för varje stavelse följer en förlaga) och Referens, en experimentell funktion där modellen lånar stil, melodi, sångstil och klangfärg från en inspelning. Styrningen sker genom tre små mallmodeller (Control, Prosody och Reference) som kopplas in i grundmodellens uppmärksamhetslager.

Enligt artikeln följer modellen styrsignalerna bättre än grundmodellen i tester på sånger på mandarin och engelska, och sångtexten återges bättre när en sångröst används som styrning, medan den allmänna ljudkvaliteten ligger ungefär på samma nivå som grundmodellernas. Vikterna finns på ModelScope och Hugging Face under Apache 2.0, och koden ingår i DiffSynth-Studio. Det finns också en demo på Hugging Face.