Så ska listan läsas
En embeddingmodell gör om text till en lista med tal, så att texter som betyder ungefär samma sak hamnar nära varandra. Det är grunden för sökfunktioner, "hitta liknande dokument" och för AI-assistenter som ska slå upp svar i egna dokument. Det här är inte chattmodeller.
Topplistan är Scandinavian Embedding Benchmark (SEB), som nu ingår i MTEB-topplistan under namnet MTEB(Scandinavian, v1). Den har 28 uppgifter på svenska, danska, norska (bokmål och nynorska) och dialekter: sortera texter i kategorier, gruppera liknande texter, hitta rätt dokument till en fråga (till exempel i svenska nyheter, Wikipedia och vanliga frågor från myndigheter) och para ihop översatta meningar.
Placeringen räknas fram genom att modellerna rangordnas på varje uppgift och placeringarna vägs ihop (Borda-metoden). Siffran vi visar är modellens snittresultat över alla uppgifter, 0–100, där högre är bättre. Därför kan en modell med något lägre snitt ändå stå högre i listan. Modeller som inte har körts på alla uppgifter saknar snitt och visas inte här, till exempel Googles gemini-embedding-001 (plats 8) och gte-Qwen2-7B-instruct (plats 15).
Vad den inte säger: listan domineras av öppna modeller från forskningsgrupper och nästan ingen av dem finns i vår katalog. Googles Gemini Embedding 2 (som förhandsversion, plats 227) och EmbeddingGemma 2 (plats 200) finns med men har bara körts på ett fåtal av uppgifterna, så deras placering säger inget om hur bra de är. Resultaten skickas ofta in av modellernas skapare, och några modeller kan ha tränats på liknande data som testerna (markerat som lägre "zero-shot"-andel på sidan). Testa alltid på egna dokument innan man bestämmer sig.