MiDashengLM-Gen

MiDashengLM-Gen kommer från Xiaomis ljudforskning (MiLM Plus) och skapar ljudklipp där flera sorters ljud hörs samtidigt: någon som pratar, musik, ljudeffekter och bakgrundsmiljö. Man beskriver scenen i olika fält, till exempel en övergripande beskrivning, exakt vad som ska sägas, hur rösten ska låta, vilka ljudeffekter och vilken musik som ska höras och vilken miljö det utspelar sig i. Ett exempel från Xiaomi är en komiker som levererar en poäng följt av publikskratt och en jazzorkester i en liten komediklubb.

Enligt forskarna är det första gången en och samma modell, tränad från början till slut, klarar allmän text-till-ljud på det här sättet. Tidigare lösningar har ofta kopplat ihop en separat textmodell med en separat ljudmodell, vilket gör att talet blir svårt att uppfatta. MiDashengLM-Gen bygger på språkmodellen Qwen3-1.7B och Xiaomis ljudkodare DashengTokenizer, och skapar ljudet bit för bit med en teknik som kallas flow matching. Modellen avgör själv när klippet ska ta slut. Ljudet blir 16 kHz mono.

Enligt Xiaomi sjunker andelen felaktigt uttalade ord på engelska (WER på Seed-TTS) från 12,15 procent för tidigare samlade modeller till 2,79 procent, nära renodlade talsyntesmodeller (1,24 procent). Modellen talar nio språk, engelska, kinesiska, spanska, portugisiska, ryska, franska, japanska, koreanska och tyska, och känslan i rösten går att styra.

Kod och vikter är öppna under Apache 2.0-licens, med vissa användningsbegränsningar (bland annat förbud mot militär användning och mot att kränka andras rättigheter).