Urimelig metodekritikk fra Lien, Reitan og Lund

Dette innlegget er et tilsvar til kronikken: Alarmen om norske studenters psykiske helse er full av forskningsfeil. 

I EN KRONIKK i Dagens Medisin, forfattet av Lars Lien, Solveig Klæbo Reitan, og Henrik Lund, anklages en artikkel nylig publisert i Lancet Regional Health – som omhandler psykiske lidelser blant studenter – for å ha alvorlige metodefeil. Artikkelen har skapt stort engasjement, og flere har undret seg om det virkelig kan stemme at så mange studenter tilfredsstiller kriteriene for en psykisk lidelse. Akademisk debatt og kritisk vurdering av forskning er essensielle for vitenskapens fremgang. Imidlertid inneholder den aktuelle kronikken en rekke feilaktige påstander og tendensiøse uttalelser, som vi vil påpeke og kommentere i dette svaret.

Hovedkritikken fra kronikkforfatterne gjelder spørsmålet om hvorvidt de ca. 10.000 studentene som svarte på den elektroniske versjonen av det diagnostiske intervjuet (CIDI), faktisk er representative for hele studentpopulasjonen. Forfatterne av kronikken fastslår kategorisk at gruppen ikke er representativ for norske studenter. De begrunner det med at hele 10.000 utgjør kun en liten brøkdel av alle studentene i Norge. I psykiatrisk epidemiologi gjør man vanligvis ikke undersøkelser av hele befolkningen, blant annet fordi en av etiske hensyn ikke skal utsette flere enn nødvendig for den potensielle belastningen av å delta slike undersøkelser. 

UTVALG. Alle studenter ble invitert til SHOT-undersøkelsen, et mindre utvalg ble deretter invitert til videre kartlegging. Vi definerte på forhånd hvilken størrelse på utvalget vi trengte for å kunne besvare forskningsspørsmål om forekomst av psykiske lidelser i studentbefolkningen, og antall utsendte invitasjoner ble justert ut fra dette. 63,7 prosent av dem som ble invitert til tilleggsundersøkelsen valgte å delta i denne. Selv om det alltid vil være en risiko for seleksjonsbias når ikke alle inviterte svarer, og man derfor bør være forsiktig med å generalisere funnene, har vi i Lancet-artikkelen analysert representativiteten så langt det var mulig for oss. 

Vi finner ingen klare indikasjoner på at seleksjonsskjevhet kan forklare funnene. De 10.000 som deltok i tilleggsundersøkelsen i 2023 var sammenlignbare med hensyn til alle målte variabler med de ca. 50.000 studentene som deltok i SHOT-hovedundersøkelsen i 2022. Viktigst er at deltakerne i tilleggsundersøkelsen rapporterte omtrent likt nivå av psykiske plager som alle som deltok i hovedundersøkelsen i SHOT. Når det gjelder generaliserbarhet til hele studentpopulasjon i Norge, trenger vi fortsatt mer kunnskap. Vi vet at SHOT er representativ når det gjelder alder, kjønn og geografi, men utover dette har vi forskere ikke anledning til å innhente data fra andre datakilder på studenter som ikke samtykker til dette. 

KONTRAST. Imidlertid viser resultater fra andre norske studier, som de befolkningsbaserte Helseundersøkelsene i Nord-Trøndelag (HUNT) og Hordaland (HUSK), at personer som velger å ikke delta i slike undersøkelser i større grad har psykiske lidelser. Dette står i sterk kontrast til det kronikkforfatterne hevder. Derfor er det ingen grunn til å anta at deltagerne i SHOT-undersøkelsen utgjør en unik gruppe som, ulikt i andre epidemiologiske studier, i større grad sliter med psykiske problem.

Det hevdes også at verken forfattere eller tidsskriftet har vært interessert i å diskutere den påståtte seleksjonsfeilen i studien. Dette stemmer ikke. Vi har besvart kritikken Lund, Lien og Reitan reiser i denne kronikken gjentatte ganger, både når Lund har tatt direkte kontakt med oss på telefon og e-post, via hans brev til redaktøren i Lancet Regional Health og senest denne uken gjennom et intervju i Khrono. Internasjonal kritikk er så vidt oss bekjent begrenset til en enkelt forskningsgruppe fra Polen. Som Lund godt vet, ble hans og de polske forskernes bekymringer formulert i to brev til Lancet Regional Health avvist av redaktøren, med begrunnelsen at de ikke tilførte debatten ny innsikt, og at redaktøren mente en mulig seleksjonsskjevhet var tilfredsstillende redegjort for i den publiserte artikkelen.

INNSYN. Kronikkforfatterne hevder at studentorganisasjoner, når de henvender seg til studentsamskipnaden, ikke får innsyn i detaljer om undersøkelsen. Dette er ikke korrekt. Folkehelseinstituttet (FHI), som er forskningsansvarlig for undersøkelsen, praktiserer full åpenhet omkring alle detaljer relatert til undersøkelsen, som ikke er underlagt personvernlovgivningen. Prosjektprotokollen ble dessuten publisert på ClinicalTrials.gov før resultatene ble offentliggjort. Vi har aldri nektet noen, verken studentorganisasjoner eller andre, innsyn i undersøkelsen. Det er svært uheldig at kronikkforfatterne fremsetter slike feilaktige påstander.

Det hevdes også at studien bryter god forskningspraksis på flere områder, blant annet ved at deltagerne kan ha trodd at det ligger er selvhjelps- eller behandlingselement ved å delta. Dette er ubegrunnet. I informasjons- og samtykkeskrivet, som alle deltagerne skal lese før de starter undersøkelsen, gjøres helt tydelig at undersøkelsen er en kartleggingsstudie av psykiske lidelser, intet annet. Heller ikke på noe punkt under REKs behandling av undersøkelsen ble det tematisert at måten studien var presentert på kunne føre til en slik misforståelse.

Videre vises det til en engelsk studie som konkluderer med at studenter ikke nødvendigvis har høyere forekomst av psykiske lidelser. Det er noe usikkerhet om hvilken studie det refereres til. Introduksjonen i nevnte Lancet-artikkel inkluderer forskningsfunn basert på et omfattende systematisk litteratursøk på feltet, noe som er påkrevd av alle artikler som skal publiseres der. Og selv om det alltid vil finnes enkeltstudier som kan gi motstridende funn, viser det meste av forskningen at studenter er mer utsatt for psykisk uhelse enn andre.

INTEGRITET. Finansiering fra offentlige institusjoner som KD og HOD betyr ikke at studiens integritet kompromitteres. Disse institusjonene har like strenge etiske retningslinjer og er forpliktet til å fremme objektiv og uavhengig forskning. Og selv om Forskningsrådet er en anerkjent og viktig aktør i forskningsfinansiering, blir det meste av forskningen som foregår i Norge finansiert av andre aktører. Dette betyr ikke nødvendigvis at kvaliteten på forskningsprosjektet er lavere. Vi reagerer når kronikkforfatterne hevder at FHI bedriver dårlig forskningspraksis. FHI lar seg ikke styre verken når det gjelder innholdet i våre vitenskapelige artikler eller hvordan disse presenteres, uavhengig av hvem som finansierer datainnsamlingen. 

TILGANG. Lund, Lien og Reitan hevder også i dagens kronikk at «Før publisering ble disse som har betalt studien gitt en måned med forberedelse med tilgang på alle data». Det stemmer ikke. Kun de som formelt er definert som prosjektmedarbeidere i henhold til REK-godkjenningen har tilgang til forskningsdataene. Vi tar på det sterkeste avstand fra påstander fra kronikkforfatterne om at presentasjonen av resultatene er motivert av noe annet enn de faktiske funnene. Antydningen om at vi, SHOT, eller redaktøren i Lancet Regional Health – Europes har blåst resultater opp eller velger en dramatisk presentasjon av disse for å tiltrekke oppmerksomhet til vår forskning, er ikke bare uriktig, men også skadelig for tilliten til forskningen og nær injurierende overfor oss som forskere.

GULLSTANDARD. Resultatene fra SHOT er basert på et instrument utviklet av Verdens helseorganisasjon for å kartlegge psykiske lidelser etter diagnostiske kriterier fra ICD-10 og DSM-5. Dette instrumentet anses som en av gullstandardene for å kartlegge psykiske lidelser i en generell befolkningsgruppe, og brukes i de prestisjetunge World Mental Surveys. Lederen for disse undersøkelsene er også medforfatter på vår studie. Hvorvidt de diagnostiske kriteriene er lagt for lavt i forhold til «normale» variasjoner i psykisk helse i ung voksen alder, er en større diskusjon som bør rettes mot de som utarbeider diagnosemanualene og være basert på eksisterende kunnskap på feltet. De nåværende diagnostiske kriteriene er fastsatt i samråd mellom Verdens helseorganisasjon og den amerikanske psykiatriforeningen, og Norge har besluttet å følge disse.

Den urimelige metodekritikken fra Lien, Reitan og Lund tar dessverre fokus bort fra et vesentlig funn: SHOT-undersøkelsene har over mange år vist en trend hvor studenter rapporterer stadig forverret psykisk helse. Denne siste undersøkelsen, som er den første hvor det er brukt et diagnostisk instrument, gir urovekkende høye tall på forekomst av psykiske lidelser i denne gruppen. Vi mener dette er funn som vi må tas alvorlig, og som må følges nøye med på fremover. Folkehelseinstituttet (FHI) ser på SHOT som en svært verdifull kilde for ny kunnskap, og vi ser fram til å fortsette samarbeidet i mange år. Det skal selvsagt være rom for meningsutvekslinger i akademia og ingen studier er perfekte, men vi håper at vi framover kan få en mer nyansert og respektfull debatt.

Ingen oppgitte interessekonflikter