MemT-1.0

MemT-1.0 är en familj språkmodeller från det kinesiska företaget MemTensor där minnet är en del av själva modellen. Vanliga språkmodeller kommer bara ihåg det som står i den text de får skickad till sig, så hela samtalshistoriken måste skickas med varje gång. MemT-1.0 sparar i stället informationen i ett internt minne som hela tiden uppdateras och som har samma storlek oavsett hur lång historiken är. Minnet kan sparas till fil och läsas in igen senare, utan att den ursprungliga konversationen behöver följa med.

Tekniskt sitter ett särskilt minnesblock bredvid modellens vanliga uppmärksamhetslager. Det består av ett lokalt minne som förändras under samtalet och ett tränat så kallat hyperminne. Familjen har två storlekar: MemT-1.0-Nano, som bygger på Qwen3.6-35B-A3B och har 36 miljarder parametrar (3 miljarder aktiva), och MemT-1.0-Flash, som bygger på DeepSeek-V4-Flash och har 288 miljarder parametrar (17 miljarder aktiva). Modellerna tränades vidare på 34 miljarder tokens.

Enligt MemTensor minskar Nano lagringsbehovet ungefär 66 gånger och blir ungefär 1,86 gånger snabbare jämfört med att spara hela samtalet, vid en historik på 128 000 tokens. På 11 minnestester hamnar Flash och Nano på första och andra plats bland de jämförda metoderna som lagrar minnet inne i modellen. MemTensor skriver samtidigt öppet att starka system som lagrar minnet som text fortfarande ligger före totalt sett, särskilt för långa historiker där detaljer måste plockas fram. Företaget visar också hur minnet kan användas för att låta kodagenter återanvända tidigare erfarenheter.