Next-Concept Modeling

Next-Concept Modeling (NCM) är ett forskningsprojekt från Hazy Research vid Stanford som prövar ett nytt sätt att generera text. Vanliga språkmodeller skriver ett ord (token) i taget, och så kallade diffusionsmodeller förfinar hela texten om och om igen i många steg. NCM gör i stället som en tecknare som först skissar grova former och sedan lägger till detaljer: texten beskrivs som en hierarki av koder, där de första nivåerna är korta och fångar det övergripande innehållet och de senare nivåerna lägger till allt finare detaljer. Modellen skapar en nivå i taget, men allt inom en nivå på en gång.

Metoden har två delar. Först tränas en särskild tokenizer som lär sig översätta text till en sådan hierarki av koder och tillbaka. Idén är lånad från bildmodellen VAR, som genererar bilder från grov till fin upplösning. Sedan tränas en transformer att förutsäga varje nivå utifrån de tidigare. När texten genereras behövs bara ett steg per nivå.

Forskarna har testat NCM på fri textgenerering, översättning från tyska till engelska, korta sammanfattningar av nyhetsartiklar och sudoku. Enligt dem blir kvaliteten lika bra eller bättre än de starkaste diffusionsmodellerna, samtidigt som texten genereras 10–31 gånger snabbare och träningen kräver 4–5 gånger mindre data. (Projektets GitHub-sida anger 9–31 gånger snabbare.) På sudoku, där helheten måste stämma, löser NCM flest pussel av de metoder som jämförs, även på de svåraste. Forskarna tror att det beror på att modellen bestämmer helheten innan detaljerna.

Det här är tidig forskning med små modeller tränade för specifika testuppgifter, inte en färdig chattmodell. Forskarna vill härnäst undersöka hur metoden fungerar när den skalas upp. Kod och modellvikter är öppna under MIT-licens på GitHub och Hugging Face. Forskningsartikeln publicerades på arXiv den 9 oktober 2026.