ALoDLM

ALoDLM (Adaptively Looped Diffusion Language Models) är en forskningsmodell från Amazon AGI. Den är en diffusionsspråkmodell: i stället för att skriva ett ord i taget, som vanliga språkmodeller, tar den fram många ord parallellt genom att stegvis fylla i maskerade luckor. Sådana modeller är snabba men har brukat vara sämre. Enligt forskarna beror det delvis på att varje lucka får exakt lika mycket beräkning, fast vissa ord är mycket svårare att förutsäga än andra.

ALoDLM löser det med en inre slinga: en delad kärna av lager kan köras upp till fyra gånger i varje steg. Ord som modellen redan är säker på låses och används som sammanhang, medan osäkra ord får fler varv. En inlärd "utgångsgrind" avgör när det räcker. Modellerna bygger på Qwen3-8B och Qwen3-1.7B och har tränats med 5 miljarder tokens finjusteringsdata, utan extra förträning.

Enligt forskarna får ALoDLM-8B i snitt 80,3 på elva tester av kunskap, matematik och kod, mot 78,5 för Qwen3-8B, och bäst snitt av alla jämförda diffusionsmodeller. På mattetestet GSM8K skriver den 612 tokens per sekund på ett Nvidia B200-kort med 93,25 % rätt, ungefär 2,7 gånger så snabbt som Qwen3-8B i vLLM. Två reglage låter användaren välja mellan mer fart och lite högre träffsäkerhet.

Vikterna för 1,7B- och 8B-versionerna finns på Hugging Face under licensen CC BY-NC 4.0, alltså bara för icke-kommersiellt bruk. Modellkortet påpekar att förmågan med långa texter inte är utvärderad.