OmniVoice

OmniVoice är en flerspråkig text-till-tal-modell (TTS) som enligt utvecklarna stöder över 600 språk, den bredaste språktäckningen bland TTS-modeller som klonar röster utan särskild träning (zero-shot). Den kan härma en röst från ett kort ljudprov, även över språkgränser, och kan också skapa en röst utifrån egenskaper som kön, ålder, tonhöjd, dialekt eller viskning.

Tekniskt bygger den på en arkitektur i stil med diffusionsspråkmodeller som går direkt från text till ljudkoder i ett steg, i stället för de vanliga två stegen via en mellanrepresentation. Modellen startar från språkmodellen Qwen3-0.6B, vilket enligt forskarna ger tydligare uttal, och tränades på 581 000 timmar flerspråkigt tal som helt kommer från öppna datakällor. Den är snabb: enligt utvecklarna ner till en realtidsfaktor på 0,025, alltså ungefär 40 gånger snabbare än realtid.

Man kan också styra detaljer, till exempel lägga in skratt med en tagg som [laughter] eller rätta uttal med pinyin för kinesiska eller fonem för engelska. Enligt artikeln presterar den i toppklass på kinesiska, engelska och flerspråkiga tester.

Modellen har ungefär 0,6 miljarder parametrar och går att köra lokalt via pip-paketet omnivoice, med ett eget webbgränssnitt, i Google Colab eller i en demo på Hugging Face. Koden är släppt under Apache 2.0, medan de förtränade vikterna har licensen CC-BY-NC på grund av villkoren för träningsdatan, så de får inte användas kommersiellt. Arbetet kommer från Xiaomi, där k2-fsa-gruppen (känd för Next-gen Kaldi) finns.