Ling-3.0-flash-base

Ling-3.0-flash-base är grundmodellen bakom inclusionAI:s språkmodell Ling-3.0-flash. Det är en så kallad basmodell: den har gått igenom den stora förträningen och en mellanträning, men inte den efterträning som gör en modell bra på att chatta och följa instruktioner. inclusionAI släpper den för att andra ska kunna träna vidare, finjustera den för egna områden eller forska på den, och skriver uttryckligen att den inte är tänkt att användas direkt som chattbot.

Modellen är mycket gles: den har 512 experter men aktiverar bara 8 plus en delad expert per token, vilket ger ungefär 5,1 miljarder aktiva parametrar av totalt 124 miljarder. Den blandar linjär uppmärksamhet (Kimi Delta Attention) med gated MLA i förhållandet 5:1 (35 respektive 7 lager), vilket gör den effektiv på långa texter. Konfigurationen tillåter 262 144 tokens (256k). I stället för att sänka inlärningstakten i slutet av träningen slår inclusionAI ihop sparade kontrollpunkter med en metod de kallar WSM, vilket enligt dem gör modellen lättare att träna vidare på.

Tillsammans med den släpptes även tidigare kontrollpunkter från träningen (efter förträning och efter mellanträning) och en mindre syskonmodell, Ling-3.0-tiny-base, som tränats med samma recept så att man kan prova idéer i liten skala först. Enligt inclusionAI:s egna mätningar slår den bland annat Nemotron 3 Super, Step 3.5 Flash och MiMo-V2.5 på flera tester inom kod, matematik och långa texter. Vikterna är öppna under MIT-licens.

I oktober 2026 kom efterföljaren Ling-3.1-flash, som är betydligt större.