Når kunstig intelligens diskriminerer

ALLE ER ENIG I at kunstig intelligens (AI) vil spille en stor rolle i forbedring av helsevesenet. Men selv om vi i Norge har store mengder historiske data som kan brukes til å utvikle AI-modeller, inneholder disse dataene også systematiske skjevheter, spesielt mot minoritetsgrupper. Dette kan skyldes ulik evne til å oppsøke helsevesenet, kulturelle fordommer og at minoriteter ofte er underrepresentert i klinisk forskning. Når AI trenes på slike data, er det fare for at disse fordommene blir innebygget og forsterket i AI-modellene, noe som igjen kan føre til at minoritetsgrupper ikke får den helsehjelpen de trenger.

I Norge har andelen innvandrere gått fra å utgjøre 1,5 prosent av befolkningen i 1970 til 16 prosent nå, og hele 33,4 prosent i Oslo. Denne demografiske endringen understreker behovet for et inkluderende helsevesen som kan håndtere et bredt spekter av helseutfordringer.

RETTFERDIG. For å sikre et rettferdig helsevesen, er det essensielt å bruke data. Som et skip trenger kompass, trenger vi helsedata for å navigere. Ved å kombinere innsikt fra rikholdige datakilder og tverrfaglig samarbeid, kan vi forstå og møte helseutfordringene bedre.

Eitri og mange offentlige institusjoner er en del av et globalt nettverk av 24 sykehus i 19 land som jobber med AI og helsedata.

MIMIC-datasettene er databaser som inneholder 15 år med intensivpasientdata fra Beth Israel Deaconess Medical Center. Disse datasettene er tilgjengelige for alle og er brukt i 70 prosent av alle kliniske kunstig intelligens-språkmodeller. Leo Anthoni Celi fra MIT Critical Data leder gruppen og, som også står bak physionet.org, som har samlet 260 åpne medisinske datasett brukt av over 40 000 forskere. MIMIC, med data om hjertesykdom, kreft, og covid-19, ivaretar pasienter ved å fjerne identifiserende detaljer. Dette skaper  et sikkert grunnlag for analyser som kan forbedre medisinske beslutninger og motvirke skjevheter i helsehjelpen.

LAV RISIKO. En nylig studie fra nettverket har vist at risikoen for identifisering av pasienter fra offentlig tilgjengelige helsedata er ekstremt lav. Mellom 2016 og 2021 var det ingen rapporter om identifisering av pasienter gjennom slike data. Dette tyder på at fordelene med å dele helsedata, som forbedret diagnostikk og behandling, langt overgår risikoen. 

Økt deling av anonymiserte helsedata er essensielt for å inkludere minoriteter, ofte underrepresentert i medisinske studier. Med Norges demografiske skifte og bruk av KI-algoritmer trent på kanskje utilstrekelige data, blir dette stadig mer relevant. Det er nå kritisk at utviklingen av databaser ikke bare tillater deling, men også støtter oppbyggingen av slike i lav- og mellominntektsland for å balansere skjevheter før AI tas i bruk i helsevesenet. I debatten må vi ikke overse de underrepresenterte, som har mye å vinne på denne datadelingen.

 I USA har innsamling av data om hudfarge og rase avdekket store ulikheter i helsehjelpen, noe som bør tjene som en vekker for Norge. Selv om vi ser på vårt helsevesen som ikke-diskriminerende, risikerer vi ubevisst diskriminering ved å bruke AI trent på skjeve data. Et eksempel er pulsoksymetre som overvurderer oksygennivåer hos mørkhudede pasienter, noe som førte til underbehandling under covid-19 pandemien. En annen studie avslørte at algoritmer kunne identifisere rase fra røntgenbilder, og Celi og kollegaer fant at datamaskiner kan avdekke økonomisk status fra slike bilder. Dette reiser bekymring for at AI, trent på ubalanserte datasett, kan gi skjev behandling basert på rase eller økonomisk status, og at slike skjevheter kan overføres til det norske helsevesenet.

Disse bekymringene om skjev behandling basert på rase eller økonomisk status, som kan overføres til det norske helsevesenet, understrekes ytterligere av nylige studier. I Norge viste en undersøkelse rapportert av Dagens Medisin betydelige kjønnsskjevheter i legevaktens utrykningsmønstre, med menn som oftere mottar raskere hjelp ved alvorlige ulykker. Dette demonstrerer hvordan systematisk datainnsamling og -analyse kan avdekke skjulte skjevheter.

FORDOMSFULLT. I en annen studie fra USA og Canada med 438 klinikere og 516 ikke-eksperter, som tok beslutninger i mentale helsekriser, ble det avdekket at anbefalinger fra AI basert på ubalanserte data førte til hyppigere valg av politihjelp, spesielt i situasjoner som involverte afroamerikanske eller muslimske menn. Dette bekrefter behovet for balanserte data i AI-systemer for å unngå forsterking av eksisterende skjevheter og sikre rettferdig behandling i helsevesenet.

AI har potensial til å revolusjonere vårt helsevesen, og i møte med Norges endrede demografi er det avgjørende å inkludere etnisitet i innsamlede data og aktivt samle informasjon fra underrepresenterte grupper. Dette er en balansegang mellom databeskyttelse og behovet for mangfoldige data.

AI-modeller, ofte utviklet i land med forskjellige helsesystemer som USA og Kina, understreker behovet for et bredt spekter av data for å møte de unike helsebehovene i Norge. Denne utfordringen blir spesielt tydelig i overførbarheten av internasjonale studier til norske forhold.

DATATHON. Nå i januar 2024, tar vi et nytt steg med et Datathon i samarbeid med MIT og Leo Anthoni Celi.  Denne gangen ønsker mange sykehus i Norge å bidra. Dette markerer en viktig utvikling i vår tilnærming til helsevesenet.

Det er avgjørende at vi i Norge leder an i denne transformasjonen, og finner en balanse mellom personvern og datadeling. Ved å engasjere oss og forstå motstanden, kan vi sikre at det norske helsevesenet forblir i verdensklasse, tilpasset til alle i vårt mangfoldige samfunn.

Ingen oppgitte interessekonflikter. 

Fredrik Willumsen Haug, Bachelorstudent i biomedisinsk ingeniørvitenskap ved Harvard University

 Dagfinn Lunde Markussen, Spesialist i indremedisin, infeksjonssykdommer og akutt- og mottaksmedisin, Stipendiat Klinisk institutt 2, Det medisinske fakultet, Universitetet i Bergen

 Thomas W. Lindner, Leder Regionalt Akuttmedisinsk Kompetansesenter Helse, Medisinansvarlig Safer

Nedim Leto, 5. års Medisinstudent Universitetet i Bergen

Leo Anthony Celi, Laboratory for Computational Physiology, Massachusetts Institute of Technology.

Aktuelt: 

Lege og KI-ekspert: – En risiko for at KI favoriserer noen grupper over andre