En billig och snabb öppen Qwen-modell som förhandsvisar arkitekturen i kommande Qwen4: 125 miljarder parametrar men bara 6 miljarder aktiva per token.
Arkitekturen: Gated DeltaNet, Qwen Sparse Attention, Gated Residual och N-gram Embedding [2]
Qwen3.8-Flash-Next är en multimodal MoE-modell som Alibaba släppt med öppna vikter som en tidig förhandsvisning av arkitekturen i nästa stora generation, Qwen4. Den fyller samma roll som Qwen3-Next gjorde inför Qwen3.5: Qwen släpper de nya byggstenarna tidigt så att andra kan granska dem innan hela Qwen4-familjen byggs på dem.
Nyheterna finns på fyra områden. Uppmärksamheten blandar Gated DeltaNet, som komprimerar historiken, med Qwen Sparse Attention (QSA), som bara tittar på de viktigaste delarna av en lång text och därför blir mycket billigare vid långa sammanhang. Gated Residual delar upp informationsflödet mellan lagren i fyra parallella spår. N-gram Embedding lägger till 51 miljarder extra parametrar som slås upp i en tabell utifrån de senaste orden och nästan inte kostar någon beräkning. Träningen använder optimeraren Muon.
Huvudmodellen har 125 miljarder parametrar, varav 6 miljarder är aktiva per token. Enligt Qwen kostade träningen ungefär en niondel av Qwen3.7-Plus, men modellen är ändå bättre på kod och kontorsuppgifter. Vid en miljon tokens och hög cacheträff ska den läsa in text 8,6 gånger snabbare än Qwen3.7-Plus. Kontextfönstret är 262 144 tokens och kan utökas till en miljon.
Vikterna finns på Hugging Face och ModelScope under Qwen Community License 1.0. Den tillåter kommersiell användning, men företag som säljer AI-modeller som tjänst eller AI-arbetsassistenter (som kodassistenter) måste skaffa en separat licens. Den färdiga produktversionen heter Qwen3.8-Flash på QwenCloud och kostar 0,15 dollar per miljon inmatade och 0,47 dollar per miljon utmatade tokens.
Placering i varje lista när den lästes av. Klicka för källa och datum.
Inte bedömd än. Alla kan ändra.
Inga kommentarer än. Skriv gärna vilket projekt den kan passa i.