VoiceMem

VoiceMem ger röstassistenter ett minne, så att de vet vem de pratar med nästa gång. Systemet har två delar som kallas hjärnhalvor. Den vänstra håller ordning på fakta, personer och kunskap. Den högra håller reda på känslor, preferenser och personlighet, både på kort och lång sikt.

Allt sker strömmande: medan användaren fortfarande pratar delas ljudet upp, skrivs ut, analyseras och sparas i en minnesgraf. När assistenten ska svara väljs först rätt slags minne och sedan rankas de bästa, och bara de fem mest relevanta läggs in i modellens sammanhang. Det håller nere mängden text som skickas till språkmodellen. Systemet minns också talare, ljudhändelser, samtal med flera personer och musik.

Enligt projektet når VoiceMem 91,2 procent på testet LoCoMo jämfört med 61,68 procent för Mem0, svarar på 134 millisekunder jämfört med 1 440 för Mem0 och använder 430 minnestokens jämfört med 6 956 för Mem0. På PersonaMem, som mäter förståelse av personer, når det 69,44 procent. Forskarna har också tagit fram datamängden ChatMem-400K och tränat röstmodeller som Qwen2.5-Omni, Qwen3-Omni och Step-Audio2-Mini att själva använda minnet.

Koden är öppen under Apache 2.0 och kan installeras med pip. I projektets exempel används en OpenAI-nyckel för språkmodellen, men alla delar går enligt projektet att byta ut. Arbetet leds av forskare vid Nanyang Technological University tillsammans med bland annat National University of Singapore, Tsinghua University och The Chinese University of Hong Kong.