Olmo-core 3

Olmo-core 3 är inte en AI-modell utan det öppna ramverk som Ai2 (Allen Institute for AI) använder för att träna sina språkmodeller, släppt i en ny version den 1 oktober 2026. Den stora nyheten är ett omgjort system för att träna MoE-modeller (mixture of experts), där varje bit text bara skickas genom ett fåtal utvalda specialistdelar, så kallade experter, i stället för hela modellen.

Sådana modeller kan bli mycket stora utan att varje steg blir dyrare, men hela modellen måste ändå få plats i grafikkortens minne och data måste skickas runt till rätt experter i ett kluster. När modellerna växer äter de kostnaderna upp en stor del av vinsten. Olmo-core 3 ska lösa det genom att låta experterna ligga kvar på sina grafikkort och skicka data till dem, och genom att dela upp experterna, modellens lager och träningens tillstånd över många grafikkort. Det stöder också det kompaktare talformatet MXFP8, som enligt Ai2 gav cirka 21 % snabbare träning än BF16 i ett test.

I Ai2:s mätningar gick antalet experter från 8 till 128, och modellens totala storlek från 4,6 till 47 miljarder parametrar, medan träningstakten sjönk med under 5 %. På åtta NVIDIA B300-kort tränades samma 47B-modell 2,7 gånger snabbare än med förra versionen. Systemet har testats med en modell på 1,2 biljoner parametrar på 512 grafikkort och i ett kortare test upp till 2,38 biljoner. Ai2 påpekar att de testerna mätte systemets prestanda och inte kvaliteten på en färdigtränad modell.

Olmo-core 3 är grunden för nästa generation Olmo, som enligt Ai2 blir en MoE-modell och deras mest kapabla hittills. Koden ligger öppet på GitHub under Apache 2.0, med en teknisk rapport och en interaktiv genomgång av hur träningen delas upp över grafikkort.