VocalRender

VocalRender gör sång av samma information som en kompositör skriver ner: sångtext, MIDI-tonhöjder, notvärden och tempo. Många andra sångsyntessystem kräver att man anger exakt hur länge varje ljud eller stavelse ska vara, eller att man har en tidsanpassad ljudreferens eller tonhöjdskurva. VocalRender klarar sig utan det och bestämmer själv timing och uttryck medan den följer noterna.

Modellen läser ett notformat där varje stavelse följs av sina tonhöjder och notlängder, vilket bevarar kopplingen mellan text och noter även när en stavelse sträcks över flera toner. Sången byggs upp steg för steg av en transformer som skissar frasering och längd, medan en mindre diffusionsmodell fyller i detaljer som tonhöjd, klangfärg och artikulation. Resultatet blir ljud i 48 kHz. Ett kort ljudklipp med en sångröst, 2–8 sekunder, styr vilken röst som används.

Modellen är tränad på omkring 2 300 timmar sång och bygger på talmodellen VoxCPM2. Enligt forskarna slår den den starkaste jämförelsemodellen med 0,42 poäng i ett lyssningstest av naturlighet. Två versioner finns: VocalRender och VocalRender-Pro, som har samma storlek men tränats längre på mer riktig sång. Vikterna, cirka 9,5 GB per version, och koden är öppna under Apache 2.0, och det finns en webbdemo med pianorulle där man kan skriva in noter.

Arbetet kommer från Xi'an Jiaotong University tillsammans med Nanyang Technological University, Ant Group och Zhejiang University.