Research · data fra driften

Hos 15 brugere er retteafstanden cirka halveret. Her er, hvordan vi har regnet.

Vi har målt, hvor meget brugerne retter i DokuDoks notatudkast, før de kopierer dem. Hos de 15 brugere med længst historik faldt det fra deres første til deres seneste notater. Her er tallene, metoden og det, tallene ikke kan bruges til.

Hvad er retteafstand?

Når du kopierer et notat fra DokuDok, sammenligner vi udkastet med den tekst, du kopierer. Retteafstanden er antallet af tegn, du har tilføjet, slettet eller skiftet ud, delt med længden af den længste af de to tekster. Kopierer du udkastet uden at røre det, er retteafstanden 0 %.

Hvem er med, og sådan har vi regnet

Udtrækket har 8.583 forløb fra 20 brugere. Vi har taget de 15, der har mindst 60 registrerede forløb, så der er 30 i hver ende uden overlap. For hver bruger tager vi de første 30 og de seneste 30 forløb. Så vejer alle 15 brugere lige meget, og en meget aktiv bruger kan ikke trække gennemsnittet.

Personaliseringen var en forskningspilot indtil 18. juni 2026 og blev derefter rullet ud til alle på Premium.

Resultatet

Den gennemsnitlige retteafstand faldt fra 7,85 % til 3,91 %. Andelen af notater, der blev kopieret uden ændringer i DokuDok, steg fra 53 % til 66 % (237 mod 299 af 450). Faldet i gennemsnittet kommer især fra, at der er færre notater med store rettelser (figur 4).

Hvad betyder "uden ændringer i DokuDok"?

Et notat, der kopieres uden ændringer i DokuDok, er ikke et notat, ingen har læst. Brugeren gennemgår altid udkastet og er ansvarlig for det, der kommer i journalen. Vi kan kun se, om teksten blev ændret, før den blev kopieret.

At over halvdelen af notaterne allerede i starten blev kopieret uden ændringer, tyder på, at mange retter i journalsystemet i stedet for i DokuDok. Den del kan vi ikke måle.

Det har vi set før. I specialet fra DTU Compute (17. februar til 27. marts 2026) blev 56,8 % af notaterne kopieret uden rettelser i DokuDok. Ifølge lægernes egne svar blev i gennemsnit 39,4 % af dem alligevel rettet i journalsystemet bagefter. Johan Hanehøj kalder det The Lost Signal: Rettelsen sker, men et sted, hvor vi ikke kan se den, og hvor personaliseringen ikke kan lære af den. Lav retteafstand betyder derfor ikke altid, at udkastet var godt.

Stigningen fra 53 % til 66 % har to mulige forklaringer, og vi kan ikke skille dem ad. Udkastet kan passe bedre til den enkelte bruger, så der er mindre at rette. Eller flere kan have valgt at rette i journalsystemet. Derfor anbefaler vi at rette i DokuDok, før du kopierer. Rettelser i journalsystemet kan personaliseringen ikke lære af.

Hvor bredt ses faldet?

Holder tallet?

Vi har prøvet at ændre de valg, vi har truffet undervejs.

Flere forløb i hver ende. Hvis vi kun tager de 9 brugere med mindst 200 forløb, kan vi sammenligne 30, 50 og 100 forløb i hver ende med de samme brugere.

Hver bruger mod sig selv. Ser man på alle forløb i udtrækket måned for måned, falder gennemsnittet ikke tydeligt (4,9 % i februar, 6,6 % i september). Brugerne skifter fra måned til måned, og nye brugere retter typisk mere i starten. Derfor sammenligner vi hver bruger med sig selv.

Samme frase. En bruger, der går fra akutnotater til rutinekontroller, vil rette mindre, uden at DokuDok er blevet bedre. Derfor har vi også sammenlignet inden for samme frase. For frasen SOAP (13 brugere med mindst 60 SOAP-forløb) faldt retteafstanden fra 6,0 % til 3,9 %, og 9 af 13 retter mindre. For frasen Akut/ny problemstilling (5 brugere) faldt den kun fra 13,2 % til 11,2 %. Akutnotaterne, hvor indholdet varierer mest, flytter sig altså mindst.

Ikke kun personaliseringen

DokuDok har ikke stået stille i de syv måneder. Personaliseringen gik fra forskningspilot til alle på Premium i juni, separate notater pr. problemstilling kom samme måned, notatskærmen blev bygget om i juli, og de sprogmodeller, der skriver udkastene, er skiftet undervejs. Hver af ændringerne kan påvirke, hvor meget brugerne retter.

For de fleste af de 15 brugere ligger de første og de seneste 30 forløb på hver sin side af flere af ændringerne. Vi kan derfor ikke skille personaliseringens effekt fra resten af produktets udvikling. Et bedre udkast fra en ny sprogmodel ville også give lavere retteafstand.

Brugerne vil have forskellige notater

De 15 brugere bruger DokuDok forskelligt. 6 bruger detaljeringsgraden Kortfattet, som er standard, i over 80 % af deres forløb. 4 har valgt Detaljeret i over 80 %. 5 skifter mellem de to. Blandt de 10 brugere, der har rettet i mindst 20 forløb, gør 4 oftest teksten længere, når de retter, og 6 gør den oftest kortere.

Et standardnotat rammer derfor ikke alle. Det er det, personaliseringen i DokuDok skal løse. Den lærer af dine rettelser: dine sproglige vaner, notatets struktur og dine forkortelser. Aldrig det faglige indhold.

Hvad tallene siger, og hvad de ikke siger

Den anden kilde: en blindet test

Retteafstanden beskriver brug. Den viser ikke, om brugerne foretrækker de personaliserede notater. Det blev undersøgt i et kandidatspeciale fra DTU Compute (marts 2026), skrevet af DokuDoks stifter Johan Hanehøj i samarbejde med DokuDok. Ni praktiserende læger fik to versioner af samme notat uden at vide, hvilken der var personaliseret.

Den personaliserede version blev valgt i 97 af 119 sammenligninger (81,5 %). Resultatet holder, også når der tages højde for, at hver læge valgte flere gange (p < 0,001).

Det er 119 valg fra 9 læger, ikke 119 læger. Næste skridt er at undersøge, om det holder hos flere læger, klinikker og typer af konsultationer. Læs mere om specialet under personaliseret AI.

Om data

Kilde

Udtræk fra DokuDoks læringslog 8. september 2026: 8.583 forløb fra 20 brugere, 17. februar til 8. september 2026. Analysen bruger de 15 brugere med mindst 60 forløb (8.412 forløb).

Hvad er et forløb

En registreret kopiering eller redigering, hvor læringen blev udløst. Det er ikke nødvendigvis en unik konsultation, og det er ikke alle notater, der er skrevet i perioden. De 20 er ikke alle, der bruger DokuDok.

Mål

Normaliseret afstand på almindelig tekst: tegn indsat, slettet eller skiftet ud, delt med længden af den længste tekst.

Kun samlede tal

Indlægget viser kun tal for grupper af brugere. Udtrækket indeholder ingen notattekst og ingen patientoplysninger, kun tegnantal, afstandsmål, indstillinger og tidspunkter.

Genberegning

Tallene er regnet igen uafhængigt fra det rå udtræk og stemmer med den interne rapport.