Rettslige utfordringer ved bruk av kunstig intelligens i helsesektoren

For at kunstig intelligens (KI) skal kunne utnyttes trygt og effektivt i helsesektoren, er det avgjørende at både helsepersonell og pasienter har en klar forståelse av mulige risiko knyttet til denne teknologien. Økt forståelse for de juridiske utfordringene vil gjøre helsepersonell og pasienter mer trygge på bruk av KI, samtidig som rettsikkerheten og pasientsikkerheten ivaretas.

Bruken av kunstig intelligens i helsesektoren har økt betydelig de siste årene.[1] Teknologien anvendes til alt fra analyse av røntgenbilder[2] til prediksjon av sykdomsutvikling[3] og ressursplanlegging.[4] Et land som Norge, med en aldrende befolkning,[5] mangel på helsepersonell[6] og lange ventetider på sykehus,[7] kan dra stor nytte av KI for å effektivisere arbeidsprosesser, redusere ventetider og senke kostnadene.

Samtidig reiser bruken av KI en rekke juridiske utfordringer som må adresseres for å sikre pasientsikkerhet, personvern og ansvarlig bruk av teknologien. Rask teknologisk utvikling kan føre til at det oppstår situasjoner hvor regelverket ikke eksiterer eller ikke er tilstrekkelig tilpasset situasjoner som oppstår, som åpner rom for ulike tolkninger og utfordrer rettsikkerheten. Den nylig vedtatte EU KI-forordningen definerer systemer som kan utgjøre en betydelig risiko for helse, sikkerhet eller grunnleggende rettigheter som høyrisikosystemer som må overholde en rekke krav.[8]

Lovligheten av KI som medisinsk produkt

Kunstig intelligens (KI) som medisinsk produkt vurderes ut fra EU-regler, der særlig to forordninger har en sentral plass: Medical Device Regulation (MDR) og In Vitro Diagnostic Regulation (IVDR). Disse reglene sikrer at KI-produkter som brukes i helsevesenet er trygge og effektive i klinisk praksis. En sentral regel i lovgivningen for medisinsk utstyr er at produsenten har det juridiske ansvaret for å sørge for at utstyret oppfyller kravene til sikkerhet og pålitelighet. Det er likevel mange andre juridiske problemstillinger som oppstår ved bruk av KI knyttet til transparens, personvern, diskriminering, immaterielle rettigheter m.m. som kan ha alvorlige konsekvenser, særlig når denne teknologien brukes til medisinske formål.

Utfordringer med forklarbarhet

Mange KI-systemer fungerer som «svartbokser», der beslutningsprosessene er vanskelige å forstå. Dette reiser viktige spørsmål knyttet til pasienters rett til selvbestemmelse og medvirkning. Hvordan kan helsepersonell forklare en KI-basert avgjørelse til en pasient når algoritmen selv ikke kan redegjøre for prosessen? Kan det virkelig hevdes at behandlingen er basert på informert samtykke der KI er brukt som beslutningsstøtte? EUs KI-forordning krever åpenhet og forklarbarhet,[9] men dette er lettere sagt enn gjort. Teknologien må først og fremst designes slik at helsepersonell kan overvåke og faglig vurdere beslutningene. Videre må pasientene tilbys forståelig og tilpasset informasjon, som er viktig for å ivareta pasientenes tillit.

Helsepersonell har en plikt til forsvarlig yrkesutøvelse som betyr at det eksisterer et ansvar for at alle tjenester som tilbys skal være av en viss kvalitet jf. helsepersonellovens § 4. Forsvarlighetsplikten innebærer at helsepersonell utviser forsiktighet ved bruk av anbefalinger fra KI-systemer, særlig da disse har en tendens å hallusinere.[10] Det er dermed viktig at KI systemer er tilstrekkelig testet før de tas i bruk, og at helsepersonell er kritiske til resultatene og ikke aksepterer dem uten en uavhengig og selvstendig faglig vurdering, uansett hvor overbevisende de framstår.

Personvern og KI

KI er avhengig av store mengder data, ofte hentet fra pasientjournaler og helseregistre. Helsedata er sensitive og omfattes av strenge regler i personvernforordningen (GDPR) som er inkorporert i norsk rett gjennom personopplysningsloven.[11] Et av de store spørsmålene er hvordan vi kan bruke disse dataene til å trene opp KI-modeller uten å kompromittere pasientenes rettigheter. Den nylige endringen i helsepersonelloven, som gir adgang til å tilgjengeliggjøre helseopplysninger for utvikling av KI,[12] signaliserer myndighetenes ønske om å tilrettelegge for innovasjon. Likevel må det sikres at pasientene forstår hvordan deres data brukes og at datasikkerheten opprettholdes.

En særlig problemstilling kan oppstå om helsepersonell benytter åpne modeller koblet til internett som ChatGPT til å skrive pasientjournaler eller til diagnostisering som innebærer deling av pasientenes personopplysninger med modellen.[13] Det åpner for en risiko for at konfidensiell informasjon kan komme på avveie. I brukervilkårene til OpenAI står det at man gir samtykke til at selskapet kan bruke innholdet som brukeren skriver inn (ofte kalt «promptet» eller instruksen) for å forbedre og videreutvikle tjenesten.[14] Dersom promptet inneholder personopplysninger, kan man anta at denne informasjonen ikke lenger er begrenset til virksomhetens interne systemer[15] men kan ende opp med å bli delt med andre.

Diskriminering

Et av de største problemene med KI er risikoen for skjevheter (bias) i dataene som brukes til å trene disse systemene. Hvis et datagrunnlag ikke er representativt eller ufullstendig, kan det resultere i diskriminerende praksis.[16] For eksempel kan KI diagnostiske verktøy for hudkreft ha lavere treffsikkerhet for personer med mørk hud fordi treningsdataene hovedsakelig består av bilder av hvit hud.[17] Et annet eksempel er kjønnsdiskriminering: systemer har vist seg å være 50% mindre i stand til å detektere leversykdom hos kvinner enn menn.[18] Dette kan ha veldig alvorlige konsekvenser og føre til at noen pasienter får dårligere tjenester enn andre. Dermed understrekes viktigheten av å bruke representative data og å kontinuerlig teste systemene for diskriminerende mønstre.

Ansvar og erstatning

Tradisjonelt er det mennesker som holdes ansvarlige for feil og skader. Med KI blir dette mer komplisert. Hvem skal holdes ansvarlig hvis en KI-algoritme forårsaker en feil som skader en pasient? Utvikleren, helseforetaket som har skaffet og tatt i bruk systemet eller brukeren (helsepersonell)? Foreløpig er det ikke grunnlag til å holde maskiner ansvarlige, dvs. KI har ikke rettigheter og plikter på linje med individer og selskaper/organisasjoner.

I dag anvendes nasjonale erstatningsregler for skade som er forårsaket av KI systemer. EUs foreslåtte KI-ansvarsdirektiv legger opp til en strengere regulering av produsenter og brukere av høyrisikosystemer, men det gjenstår å se hvordan disse reglene vil fungere i praksis når de endelig vedtas.[19] Manglende åpenhet og autonom oppførsel som karakteriserer KI systemer gjør det vanskelig å bevise årsakssammenheng mellom en handling og skade, som er et vilkår for erstatning. Dermed kan det oppstå betydelige utfordringer med å holde produsenter og brukere ansvarlige for skader som oppstår. I tillegg er spørsmålet om produsenter bør være ansvarlige når produktet lærer kontinuerlig, og er ute av produsentens kontroll etter å ha blitt satt ut på markedet.

Veien videre

Ansvarlig bruk av KI i helsesektoren forutsetter et tett tverrfaglig samarbeid mellom helsepersonell, jurister, teknologer og myndigheter. Utdanning og opplæring er avgjørende for å øke bevisstheten om risikoene og de juridiske rammene ved implementering av KI i helsesektoren. I tillegg må vi prioritere systemer som oppfyller strenge regulatoriske krav og fremmer tillit blant pasienter og helsepersonell.

Selv om KI er på vei til å revolusjonere helsesektoren, må innføringen av denne teknologien gjøres på en måte som tar høyde for grunnleggende menneskerettigheter. Dette for å forsikre oss om at innovasjon ikke skjer på bekostning av de den skal tjene.

Ingen oppgitte interessekonflikter

[1] Det anslås at AI markedet i helsesektoren kan være verdt 188 milliarder dollar globalt innen 2030, med potensial til å redde over 250 000 liv hvert år. How AI in Healthcare could Save over 250,000 Lives Each Year and become a $188 Billion Market by 2030 -

[2] Bærum sykehus er først i Norge med å ta i bruk kunstig intelligens til behandling | Digi.no

[3] Ny teknologi kan forutsi sykdomsutvikling - NHI.no

[4] Trondheim kommune unngikk å sløse bort 6,7 % av budsjettet ved bruk av AI-drevet bemanningsplanlegging

[5] Vi blir stadig eldre - SSB

[6] Helse- og omsorgstjenesten sysselsetter litt over 15 prosent av arbeidstakere i Norge, og er den næringen som rapporterer om størst mangel på arbeidskraft i NAVs årlige bedriftsundersøkelse. Se: NAV (2023) Bedriftsundersøkelsen. Tilgjengelig: https://www.nav.no/no/nav-og-samfunn/kunnskap/analyser-fra-nav/arbeid-og-velferd/arbeid-og-velferd/bedriftsundersokelsen

[7] Ventetiden på norske sykehus har blitt lengre – NRK Norge – Oversikt over nyheter fra ulike deler av landet

[8] Forordning om kunstig intelligens (KI-forordningen) - regjeringen.no

[9] Artikkel 13 og artikkel 86 i KI - Forordningen.

[10] Kunstig intelligens i norske pasientjournaler –når maskinene hallusinerer

[11] Artikkel 9 i Personvernforordningen og

[12] Helsepersonelloven i §29 adgang til å gi dispensasjon fra taushetsplikten for å tilgjengeliggjøre helseopplysninger fra pasientjournaler eller andre helseregistre, til å utvikle beslutningsstøtteverktøy basert på KI, og til å ta slike verktøy i bruk.

[13] I desember 2024 ble OpenAI ilagt enn bot fra det italienske datatilsynet for brudd på personvernlovene. Italy fines OpenAI over ChatGPT privacy rules breach | Reuters

[14] Privacy policy | OpenAI

[15] Caution: use of AI chatbot may lead to data breaches | Autoriteit Persoonsgegevens

[16] Frihet fra diskriminering er en grunnleggende menneskerettighet, som er nedfelt i Grunnloven og en rekke menneskerettighetskonvensjoner

[17] Singh Y, Patel H, Vera-Garcia DV, Hathaway QA, Sarkar D, Quaia E. Beyond the hype: Navigating bias in AI-driven cancer detection. Oncotarget. 2024 Nov 7;15:764-766. doi: 10.18632/oncotarget.28665. PMID: 39513852; PMCID: PMC11546210.

[18] Gender bias revealed in AI tools screening for liver disease

[19] Liability Rules for Artificial Intelligence - European Commission