Hy4 preview

Hy4 preview är en förhandsversion av nästa generation av Tencents språkmodell, utvecklad av Tencent Hy-teamet (tidigare Hunyuan). Det är en Mixture-of-Experts-modell med 770 miljarder parametrar totalt, varav 49 miljarder används per token. Den har 78 lager, 256 experter per lager varav åtta väljs per token plus en delad expert, och kan läsa upp till en miljon tokens. Ett extra lager för att förutsäga flera tokens i taget (10 miljarder parametrar) gör genereringen snabbare.

Tencent skriver att man har skalat upp modellstorlek, kontextlängd och träningsdata, och att steget från Hy3 är det största mellan två generationer de har mätt. Träningsdatan byggdes tillsammans med experter inom Tencent, som programmerare, spelutvecklare, finansanalytiker och säkerhetsexperter. Fokus ligger på fyra områden: programmering, kontorsarbete och analys (dokument, kalkylark och presentationer), spelutveckling (från en enda beskrivning till en spelbar prototyp) och vetenskaplig forskning. Modellen utvecklas också tillsammans med Tencents egna verktyg CodeBuddy och WorkBuddy.

I ett blindtest där 163 interna experter bedömde svar på 203 programmeringsuppgifter hamnade Hy4 preview enligt Tencent strax före både GLM 5.3 och Kimi K3. Tencent är öppna med att det är en tidig version: modellen kan resonera längre än nödvändigt och har en tendens att dubbelkontrollera sitt eget arbete för mycket.

Vikterna finns på Hugging Face, ModelScope, GitCode och CNB, även i en FP8-version, under Apache 2.0. Det finns färdiga recept för att köra modellen med vLLM och SGLang. Som standard resonerar modellen på högsta nivån, men det går att stänga av resonemanget för snabba svar.