Så ska listan läsas
MedScribe testar en av de vanligaste användningarna av AI i vården: att skriva journal. Modellen får en utskrift av ett samtal mellan vårdpersonal och patient och ska skriva en journalanteckning i det i USA vanliga SOAP-formatet, med fyra delar: patientens egen beskrivning, undersökningsfynd, bedömning och plan (till exempel ordinationer, recept, remisser och uppföljning). Vals AI tog fram testet tillsammans med dataföretaget Protege. Samtalen är till största delen syntetiska, skapade utifrån riktiga avidentifierade journalanteckningar, och medicinska sekreterare och en läkarassistent har kontrollerat att de låter realistiska.
Siffran är andelen punkter i experternas bedömningsmallar som anteckningen uppfyller. Rättningen görs av en AI-domare som i Vals egen kontroll höll med majoriteten av de mänskliga bedömarna i ungefär 80 procent av fallen. Felmarginalen är omkring ± 2 procentenheter, så de första platserna ligger i praktiken lika.
Detta är inte ett test av medicinsk kunskap eller diagnostik, utan av dokumentation. Det säger inget om hur modellen svarar på medicinska frågor från patienter, och inget om svensk journalföring eller svenska samtal; materialet är på engelska och följer amerikansk praxis. Vals påpekar också att längre svar tenderar att få högre poäng. Det tidigare medicintestet MedQA (flervalsfrågor från amerikanska läkarexamen) är arkiverat hos Vals och uppdateras inte längre.