AuK

AuK är en öppen grundmodell för tal som tar emot en instruktion i vanlig text, eventuellt tillsammans med en ljudfil, och svarar med nytt eller redigerat ljud. Samma modell kan läsa upp text med en given röst (röstkloning från ett exempel), skapa en röst utifrån en beskrivning, ändra vad som sägs i en inspelning, byta känsla, klangfärg eller brytning, ändra tonhöjd, tempo och volym, skriva om sångtext i en sånginspelning samt rensa brus och separera röster.

Modellen har 1,5 miljarder parametrar och kombinerar en multimodal språkmodell som tolkar instruktionen, en ljud-VAE tränad på tal, ljud och musik, och en transformer som genererar ljudet. Enligt teknikrapporten tränades den på omkring 3,03 miljarder exempel med instruktion och ljud, motsvarande 1,95 miljoner timmar. Varianten AuK-Flash är destillerad och klarar sig med fyra steg utan så kallad CFG, vilket enligt forskarna gör den 4,5 gånger snabbare med nästan samma kvalitet.

Enligt Tencent leder AuK på tester för röstkloning och instruktionsstyrd talgenerering och redigering, och är konkurrenskraftig på brusreducering och separation. Vikterna för båda varianterna finns på Hugging Face och ModelScope under MIT-licens. Efter släppet har modellen fått stöd i bland annat SGLang-Omni, vLLM-Omni och audio.cpp, kan köras med MLX på Apple Silicon, och i oktober 2026 släpptes koden för att träna egna Flash-varianter.

AuK är ett forskningsprojekt av Shanghai Jiao Tong University, Tencent Hunyuan och Shanghai Innovation Institute, och koden ligger hos Tencent Hunyuan på GitHub.