I den moderne medisinske verden er treffsikkerhet et mål på hvor nøyaktige test- og undersøkelsesmetoder, arbeidsmåter, terapier, behandlinger og diagnoser er. Innen digital triage blir dette begrepet stadig mer aktuelt. Visiba har tatt ledelsen i å utvikle treffsikker triage ved hjelp av kunstig intelligens (KI), som ikke bare forbedrer diagnostikk- og prioriteringsprosessen, men også styrker tilliten til digital triage hos både pasienter og helsepersonell. Lær mer om hva medisinsk treffsikkerhet er, hvordan Visiba måler det – og hva evalueringene viser!
Det finnes flere medisinske begreper som utgjør grunnlaget for det samlede begrepet medisinsk treffsikkerhet, og som i de senere årene har blitt brukt om digital triage. Kliniske fagpersoner og forskere bruker tre begreper for å beskrive medisinsk treffsikkerhet: Analytical accuracy, Clinical accuracy og Diagnostic accuracy. Dette er generelle begreper som brukes for eksempel ved klinisk evaluering av målemetoder, behandlingsformer eller legemidlers effekt i kroppen. Ordet "accuracy" kan oversettes til nøyaktighet eller treffsikkerhet på norsk.
Analytisk treffsikkerhet er en kvantitativ metode for å beskrive hvor nært resultatet av en målemetode, arbeidsmetode eller legemiddel ligger opp mot en standardisert måling med en referansemetode eller referansestoff.
Klinisk treffsikkerhet er en kvalitativ tilnærming som beskriver det kliniske utfallet av å basere en behandlingsbeslutning på resultatet av metoden som evalueres.
Den diagnostiske treffsikkerheten til en prosedyre eller test svarer på spørsmålet: Hvor godt skiller testen mellom friske og syke?
Når vi evaluerer medisinsk treffsikkerhet i digital triage, bruker vi begrepene klinisk og diagnostisk treffsikkerhet. Klinisk treffsikkerhet brukes primært ved vurdering av hastegrad/prioritering. Diagnostisk treffsikkerhet gjelder vurderingen av hoveddiagnose og differensialdiagnoser. Det er viktig å forstå forskjellen, men samtidig erkjenne at begrepene overlapper i det kliniske arbeidet. Selv om begrepene er etablerte i medisinen, er de relativt nye i konteksten digital triage, og det er fortsatt behov for felles forståelse i bransjen for hva de betyr i praksis.
For å måle treffsikkerheten i triageløsningen Visiba Triage (Red Robin), bruker vi en innebygd klinisk tilbakemeldingssløyfe hvor klinikere evaluerer og validerer triageringsgrunnlaget: pasientens symptomoppsummering, foreslått hoveddiagnose med differensialdiagnoser, og hastegrad. Dette bidrar til kontinuerlig kvalitetsforbedring og læring fra ekte pasienttilfeller håndtert i Visiba Triage.
Tilbakemeldingene behandles fortløpende av vårt medisinske team og brukes i utviklingen av Visiba Triage og i vårt pågående Post-Market Surveillance-arbeid.
For pasienten oppleves Visiba Triage som en chat der du svarer på spørsmål om egne symptomer og eventuelle underliggende sykdommer. I 45 % av sakene oppgir pasienten to eller flere symptomer i første trinn. Muligheten til å angi flere symptomer samtidig er viktig for treffsikker triage, da viktig informasjon ellers kan gå tapt.
I gjennomsnitt besvares 19 spørsmål på under 2,5 minutter, og 95 % fullfører. Svarene resulterer i en oppsummering, diagnoser og hastegrad – som helsepersonell deretter ser i sitt grensesnitt.
Når helsepersonell åpner resultatet i Visiba Triage, starter det kliniske arbeidet. Vurderingen baseres ofte på oppsummeringen, journalnotater og medikamentliste. Basert på hastegrad og diagnoser, samt en klinisk arbeidshypotese, bestemmes eventuell kontakt med lege eller annet helsepersonell.
Ved første pasientmøte gjennomføres en grundigere anamnese, eventuelt klinisk undersøkelse og videre utredning. Dette kan ta timer til uker. Utfallet blir diagnose, behandling eller henvisning. Det endelige kliniske utfallet er altså avhengig av den videre utredningen etter triagevurderingen.
I dag evaluerer vi medisinsk treffsikkerhet midt i forløpet – når helsepersonell åpner saken, starter sitt arbeid og vurderer triageresultatet. Vi måler hvor korrekt og rimelig den kliniske arbeidshypotesen er.
Så, hva viser resultatene? Har Visiba Triage høy medisinsk treffsikkerhet?
Ja, Visiba Triage har en svært høy andel korrekte triageringer – altså vurderinger hvor helsepersonell er enig i triageresultatet.
Ser vi på fordelingen av hastegrader i Visiba Triage sammenlignet med andre systemer, ser vi at Visiba Triage gir rimelige vurderinger ifølge tilbakemelding fra helsepersonell.
Merk den lave andelen saker med «Emergency» og «Urgent» prioritet – og den høye andelen i «Routine». Det betyr få, men viktige saker som må håndteres umiddelbart, mens de fleste kan tas senere samme dag eller i løpet av uken. Dette gir et bærekraftig arbeidsmiljø og forutsigbarhet i hverdagen.
Når vi måler treffsikkerheten for hastegrad, bruker vi begrepene korrekt triage, overtriage og undertriage. For å vurdere alvorlighetsgraden snakker vi om «kraftig overtriage» og «kraftig undertriage» – sistnevnte er mest kritisk fordi det innebærer høy pasientrisiko.
I Visiba Triage er andelen undertriage svært lav – bare 0,49 % av saker som burde vært «Umiddelbart» havner på «Hurtig» eller «Innen 24 timer». Bare 0,26 % havner feilaktig i «Kommende hverdag» eller «Avvent».
Er det bra? Ja – selv sammenlignet med studier gjort på fiktive pasientcaser, er dette svært gode resultater. Men vi har kun tilgang til egne kundedata og kan ikke gi et entydig vitenskapelig svar. Sammenlign gjerne med målinger i din egen organisasjon eller andre systemer.
Hvordan ser det ut med diagnostisk treffsikkerhet? Et eksempel: Hos den finske leverandøren Pihlajalinna vurderte legene at Visiba Triage i over 95 % av tilfellene foreslo en korrekt diagnose som arbeidshypotese. Dette er basert på 10 000 tilbakemeldinger fra 50 000 triageringer over sju måneder.
Gjennom kontinuerlig evaluering via en klinisk tilbakemeldingssløyfe, måles medisinsk treffsikkerhet i Visiba Triage for både hastegrad og diagnoser. Det gir en validering av arbeidshypotesen som brukes i det videre kliniske arbeidet.
Visiba Triage hjelper helsetjenesten med å heve kvaliteten, spare tid og ressurser. Høy treffsikkerhet fører til riktig sortering, relevante diagnoser og en pålitelig arbeidshypotese helsepersonell kan bruke videre.
Den høye medisinske treffsikkerheten oppnås takket være kontinuerlig kvalitetssikring av triagemotoren Red Robin – bygget på et bayesiansk sannsynlighetsnettverk – og kontinuerlig forbedret med tilbakemeldinger fra klinikere og medisinske eksperter.
Vil du vite mer om medisinsk treffsikkerhet generelt eller resultatene fra Visiba Triage spesielt? Ta gjerne kontakt med meg!
Christer Rosenberg
Senior Medical Advisor, Visiba
Referanser:
[1] Gabrielsson-Järhult F., Mahmud Y., Fristedt S., Kjellström S., Kåreholt I. (2023) Hur klickar vi med vården? En vetenskaplig studie av digitala och fysiska vårdkontakter utifrån användarmönster och patienters erfarenheter av primärvård, School of Health and Welfare, Jönköping University
[2] Västra Götalandsregionen (oktober 2023) Rapport Sök Vård - VGR Utvärdering och validering av automatiserad triagelösning under pionjärfasen 2023-02-08 till 2023-05-31
[3] Region Gävleborg (2023) Utvärdering av medicinsk kvalité i tjänsten Min vård Gävleborg, Region Gävleborg 2023
[4] Visiba (2023) 2023 PSUR Summer and Autumn Red Robin (intern rapport över perioden juni – november 2023)
[5] MDR Post-market Clinical Follow-up report: Measuring the accuracy of urgency suggestions from Red Robin, Feb 2024