– Er fagprøven tilstrekkelig kvalitetssikret?

Fagprøven for lege må gjennomføres og bestås av personer som er utdannet utenfor EU/EØS og Sveits som skal søke autorisasjon i Norge. Fagprøven er en fagspesifikk praktisk, muntlig og skriftlig prøve som tester om kandidaten har praktiske og teoretiske kunnskaper som tilsvarer norsk medisinutdanning. Den gjennomføres en gang i vårsemesteret og en gang i høstsemesteret.

– Det er to ting ved fagprøven jeg reagerer med. Den ene er at det er en veldig høy strykprosent. Noe som ikke nødvendigvis er dumt. Det skal være strenge krav. Men i dette tilfellet var det påfallende høyt. Og det er det faktum at fasit av prøven endres i ettertid eller rett og slett trekkes, sier Arne Aarflot.

Aarflot sier det er et omfattende arbeid og system helsepersonell og helsefagstudenter som har tatt utdanningen må gjennom for å få autorisasjon i Norge. Hans sønn, Knut Magne Aarflot, tok sin legeeksamen ved Universidad Autónoma de Nuevo León (UANL) i Monterrey, Mexico i juli 2019 og tok norsk fagprøve i november 2020.

– Hvor vanlig er det å trekke oppgaver? Er fagprøven tilstrekkelig kvalitetssikret når oppgaver endres eller trekkes i ettertid, spør Arne Aarflot.

Fagprøven består av tre deler. En del er en digital eksamen med 140 flervalgsoppgaver som tester studentenes evne til klinisk resonnement i teoretisk form.

– Hver oppgave analyseres

Professor og fagansvarlig for fagprøven ved UiO, Kristian Bjøro sier det er vanlig praksis at enkelte oppgaver trekkes og at fasit ved noen oppgaver endres.

– Dette er helt vanlig praksis. Ved digital deleksamen i høst var det ikke mange oppgaver som ble tatt ut. Gjør man en dårlig jobb i forkant trekkes mellom ti og femten prosent av oppgavene. I de siste fire-fem år hvor vi har hatt et slikt eksamen-format har vi sett at vi i snitt tar ut mellom tre og fem prosent av oppgavene. I høst var det fem oppgaver som er trukket, tre oppgaver hvor vi har akseptert to alternativer og en oppgave hvor fasit ble endret, sier Bjøro.

Kandidatene oppfordres til å gi tilbakemeldinger på fagprøven. Endringer av fasit og trekk av oppgaver skjer på sensurmøte hvor alle oppgavene analyseres i lys av eksamenssvar og tilbakemeldinger fra kandidatene.

– På sensurmøte i etterkant benytter vi oss av psykometri og tilbakemeldingene fra studentene. Hver enkelt oppgave analyseres. Vi ser for eksempel på hvordan svarene fordeler seg i oppgavene. Til tross for at det legges ned mye arbeid i forkant må noen oppgaver trekkes eller fasit endres, sier Bjøro.

– Ser vi at en oppgave er for vanskelig, så trekkes den. Vanskelige oppgaver trekkes ikke nødvendigvis, men oppgaven må da være riktig utformet.

Bjøro forklarer at de kan finne ut av om en oppgave er for vanskelig ved å se på «diskriminerende evne».

– Vi ser etter samsvar mellom skår på en enkeltoppgave og skår på hele eksamen. En vanskelig oppgave som de flinkeste studentene stort sett greier, mens de svakeste ikke greier, kan vurderes som akseptabel – selv om den totalt sett er vanskelig. En oppgave bør følge dette mønsteret. Hvis det for en vanskelig oppgave ikke er noe samsvar mellom totalscoren og hvordan oppgaven løses, vil den trekkes, forklarer Bjøro.

– Kan være forvirrende

Velbegrunnede tilbakemeldinger tas også med i analysen.

– Vi kan få inn tilbakemeldinger på oppgaver fra studentene med gode begrunnelser om at i denne oppgaven bør ikke bare ett alternativ være riktig, for eksempel alternativ C, men også alternativ A, så vil vi i noen tilfeller akseptere dette. Da kan vi endre fasit eller vi kan beslutte å trekke oppgaven, sier Bjøro.

Bjøro forteller at i gjennomsnitt blir mellom tre til fem prosent av oppgavene trukket, og i tillegg får to til tre prosent av oppgavene endret fasit, stort sett ved at to svaralternativer istedenfor kun ett, aksepteres som korrekt.

– Knut Magne Aarflot, du tok fagprøven i høst, fant du det forvirrende og stressende under prøven når du så like riktige eller feile svar?

– Denne gangen var det flere spørsmål med riktige svar, det blir jo litt forvirrende. Da forsøker man å finne det mest riktige svaret. Og det var for eksempel spørsmål som omhandlet antibiotika-bruk som ble trukket fordi alle svaralternativene var feil.

Aarflot sier han i forkant har forberedt seg ved å se på tidligere avgangseksamener.

– Fagprøven skal være lik en norsk avgangseksamen. Jeg har sett på tidligere avgangseksamener for å forberede meg, og endring av fasit er noe som alltid skjer. Det har UiO vært veldig åpen om.

– De etterlyser at studenter sender inn spørsmål og tilbakemeldinger i etterkant av eksamenen. Slik jeg leser det på nettsiden er det sensurmøte i etterkant av eksamenen hvor eksamen gås gjennom. Jeg synes jo det kunne vært et bedre system og kvalitetskontroll på eksamenen.

– Var det andre som tok fagprøven samtidig som deg som reagerte på spørsmålene?

– Ja, jeg og noen medstudenter har hatt en gruppe på sosiale medier hvor vi har sendt noen meldinger. Spørsmålene har vært tema der, sier Aarflot.

– Kristian Bjøro, hva sier du til at man som student kan bli forvirret og stresset av å se svaralternativer man regner for å være like riktige?

– Sånn er det for alle. Vi gir god informasjon i forkant og gir råd om at hvis det er en oppgave man er i tvil om, gå videre og gå heller tilbake til denne oppgaven senere. Det viktigste er at studentene klarer å passe tiden. Vi råder dem til å ikke henge seg opp i en oppgave, det kan være nærmest katastrofalt hvis man blir sittende i 15-20 minutter med en enkelt oppgave.

– Et komplisert arbeid

– Formatet er slik at de kan se alle oppgavene med en gang eksamen starter, slik at de kan vurdere det. I tillegg får studentene tilgang til et helt tilsvarende eksamenssett i forkant av eksamen slik at de kan trene på selve eksamensformen, sier Bjøro.

Bjøro sier det er et komplisert arbeid med fagprøven.

– I bunnen ligger Nasjonal delprøve. Den samkjøres med eksamen her ved UiO. Ved de tre siste eksamenene har vi brukt hele Nasjonale delprøvene som Modul 8 digital eksamen.

– Det er to sensurmøter, ett i forbindelse med Nasjonale delprøvene, og ett i forbindelse med Modul 8 her ved UiO. Naturlig nok er det kun marginale forskjeller i sensuren på de to prøvene.

Han sier oppgavene utarbeides gjennom flere kvalitetssikringsledd og at de generelt sett har fått gode tilbakemeldinger.

– Formelt og faglig er det riktig. Det kan selvfølgelig være forskjellige oppfatninger av oppgavene. Oppgavene utarbeides gjennom diskusjon i flere kvalitetssikringsledd. Generelt sier studentene at de opplever at dette er en eksamen hvor oppgavene er godt gjennomarbeidet.

– Er fagprøven godt nok kvalitetssikret?

– Det kan man alltid diskutere. Den digitale eksamen er grundig diskutert. Vi er enige om at det er en god eksamen som en del av de tre eksamener kandidater som tar fagprøven må gjennom.

– Den digitale eksamen tester studentenes evne til klinisk resonnement i teoretisk form. I tillegg er det to andre eksamener som tester evne til klinisk kommunikasjon, og det vi kaller en OSCE-del. Det er en eksamensdel hvor studentene må innom småstasjoner for å løse praktiske oppgaver.

Bjøro forteller at de ser at det er en enorm spredning, men at det er et godt samsvar mellom prestasjonene på de tre deleksamenene.

– Alltid noe å diskutere

– Kunne man ikke gjennomgått oppgavene i forkant?

– Når det gjelder selve oppgavene kan det enkelte ganger oppstå en viss usikkerhet på grunn av oppgavens formulering. I forkant lages oppgavene i forskjellige faggrupper hvor oppgavene diskuteres før vi sender ut et oppgaver til fagfellevurdering. Da er det en LIS-lege, en allmennmedisiner og en spesialist i det aktuelle faget som vurderer oppgaven og gir råd.

– Deretter er det en mindre gruppe som ser på totaliteten i eksamenen. For eksempel til eksamen nå i 2021 har vi utarbeidet 650 oppgaver som sendes ut. Av de kan jeg tenke meg at cirka 500 vil komme gjennom fagfellevurderingen, altså at 150 trekkes på grunn av tvil eller at de vurderes å ikke være egnet.

– Deretter velges det ut omkring 170-180 oppgaver som to nyutdannete kollegaer leser gjennom. De kommenterer både enkeltoppgaver og sammensetningen av oppgaver i settet. To eksterne sensorer leser også gjennom oppgavene og kommenterer.

Han forteller at tilbakemeldingene kan være at oppgavene kan være for enkle, for spesialiserte eller at det er unøyaktigheter eller uklarheter.

– Det lytter vi til.

– Til slutt er det tre personer som leser korrektur enda en gang. Den siste eksamen leste jeg gjennom sikkert ti ganger, og hver gang fant jeg noe jeg ønsket å forbedre, sier Bjøro.

Bjøro sier det ikke er noen som klarer å lage en perfekt eksamen.

– Slik jobber man også internasjonalt. Det vil alltid være noe å diskutere. Alle innspill som kommer inn, tas seriøst.

Flere stryker på fagprøven

Når det gjelder strykprosenten sier Bjøro at det er høyere strykprosent på fagprøven enn hva det er for studenter tilknyttet medisinstudiet på UiO.

– Strykprosenten blant UiO studentene var i høst godt innenfor det vi har erfart de siste ti år på denne type eksamen, digital eksamen. Det vil si omkring en til fem prosent får karakteren ikke-bestått. Høstens eksamen var "normalt vanskelig". Gjennomsnittlig score blant UiO studentene lå på et helt normalt nivå - kanskje litt høyere enn vi har sett de siste årene. Blant fagprøvekandidatene var strykprosenten langt høyere og spredningen blant disse er meget stor.

Bjøro sier det er flere årsaker til at strykprosenten er høyere på fagprøven for utenlandsmedisinere.

– Eksamen er vanskelig for fagprøvekandidatene av flere årsaker. Språkforståelse er viktig. Kandidatene må kunne lese og forstå norsk godt. De må også, for de to andre delene av fagprøven, kunne snakke og forstå norsk muntlig.  En deleksamen tester kandidatene i atferdsmedisin, å snakke med pasienter som spilles av skuespillere. Noen er kjempeflinke, mens andre ikke kommuniserer innenfor rammer hvor pasienter i tilstrekkelig grad ivaretas.

– Andre har fagkunnskaper som rett og slett er for dårlige. Og vi har studenter som er uteksaminert for ti-femten år siden i et annet land, og da blir dette en vanskelig eksamen å ta. Vår jobb er å sikre at vedkommende som består, har kompetansen som kreves av studenter som uteksamineres fra universitetene i Norge.

– Er det noen som har strøket på eksamen på grunn av trekk av oppgaver eller endringer av fasit?

– Nei det skjer i praksis ikke. Oppgavene som tas ut er normalt de vanskeligste. Det er lett å kontrollere dette, egentlig bare å sammenligne to excel-ark.  slik at det er det ikke fare for. Jeg har vært med på å bruke dette systemet i ti år, tjue kull med studenter, og kan med hånden på hjertet si at vi ikke har opplevd at noen har falt under grensen for bestått som en følge av at oppgaver er trukket fra settet eller at fasit er endret.

Bjøro sier det legges ned et stort arbeid i eksamenene.

– De er viktige for å sikre at både nyutdannede leger fra norske medisinske fakulteter og leger med utdannelse fra land utenfor EU/EØS/Sveits, fyller minstekrav til kunnskap - både teoretisk, men ikke minst praktisk slik at vi kan føle oss trygge på at pasientsikkerhet ivaretas.