Ny evaluering av Nye metoder: En mager trøst

En forskergruppe har evaluert Nye metoder og trukket uforbeholdent positive konklusjoner. En nærmere granskning av evalueringen gir imidlertid grunn til å reise tvil om Beslutningsforum holder seg til Stortingets prioriteringskriterier.

Det må være rett å si at prioriteringssystemet Nye metoder har fått mye kritikk gjennom årene. Både pasienter og pasientforeninger, enkeltleger og grupper av leger, leverandører mv har uttrykt misnøye. Systemet selv har i liten grad innrømmet svakheter og feil, men kritikerne fikk støtte i Proba-rapporten som pekte på en rekke svakheter: manglende tillit til systemet, sen saksbehandling, manglende pasient- og klinikerinvolvering, utilfredsstillende håndtering av usikkerhet i metodevurderinger, utilfredsstillende begrunnelse av vedtak, varierende praktisering av unntaksregler, for få vurderinger av ikke-legemidler, mv. Det var således nok å gripe fatt i for etikkforskere. En gruppe i Bergen som har evaluert Nye metoder, valgte bort de nevnte tema og undersøkte i stedet om Nye metoder treffer beslutninger i samsvar med Prioriteringsmeldingens hovedkriterier (kostnad, effekt og alvorlighet).

I artikkelen presenteres Nye metoder med 478 ord og en tabell uten å nevne med et eneste ord all kritikk systemet har fått både før og etter Proba avga sin rapport. Utenlandske lesere vil trolig sitte igjen med et inntrykk av at det norske systemet fungerer godt og har tillit blant de involverte.

Hemmelig åpenhet?

Forskerne i Bergen baserte sin undersøkelse på data de fikk fra Nye metoder under løfte om å hemmeligholde dem. To figurer er uten tall på aksene. Leserne har derfor ingen mulighet til å etterprøve analyser eller gjøre egne analyser hvilket fremstår som et paradoks fordi forskerne selv er talspersoner for åpenhet.

Følger Beslutningsforum prioriteringskriteriene?

Forskerne analyserte sammenhengen mellom hovedkriteriene (kostnad, effekt, alvorlighet) og Beslutningsforums vedtak for 83 av 188 legemiddelsaker. I regresjonsanalyser ble de tre hovedkriteriene slått sammen i en indeks, men bare én av flere mulige indekskonstruksjoner ble analysert. Leseren savner analyser der indeksvariabelen var erstattet av kostnadseffektivitet, alvorlighet og interaksjonen mellom de to. I den «beste» analysen var odds for å få godkjent legemiddelet 40% lavere for hver $10,000 økning av ICER. Det tyder på en sammenheng mellom kriterier og beslutninger og har blitt registrert med tilfredshet både blant RHF-koryfeer og etikkforskerne. De konkluderer at «this cross-sectional study demonstrated how concerns for efficiency and fair distribution of health can be implemented systematically into drug appraisals and reimbursement decisions».  

Forskergruppen drøfter derimot ikke at forklart varians (McFadden) i seks presenterte regresjonsanalyser varierte fra bare 4% til 31%. Sistnevnte tall tyder på en brukbar til god modelltilpasning. Men selv i den beste regresjonsmodellen må mer enn totredeler av variasjonen i vedtakene forklares av noen annet enn kostnad, effekt og alvorlighet. Beslutninger basert på offentlige kostnad-effektestimater og offentlige priser var nærmest uten sammenheng med de fastsatte kriteriene (forklart varians 4%-7%). Det er rimelig å forvente at vedtakene baseres på hovedkriteriene også når beslutningsgrunnlaget er basert på et offentlig tallgrunnlag.

Hvor store besparelser?

Fordi høyere legemiddelpris betyr høyere indeks og indeks var lavere etter prisforhandlinger, konkluderte forskerne blant annet: “New, expensive drugs are expected to escalate health care costs in the years to come, and it may be feasible to control costs by negotiating the prices of new drugs while appraising both their cost-effectiveness and how their health benefits are distributed”. Konklusjonen belyses ikke med tall. Lesere både innenlands og utenlands vil trolig ha interesse av å vite at Norge har hatt en moderat kostnadsvekst for legemidler både før og etter at Nye metoder ble innført. 

Hvilke kriterier bruker Beslutningsforum?

Når kostnad og effekt var nærmest uten betydning for noen av beslutningene, hva var da grunnlaget? Beslutningsforum har med støtte i Prioriteringsmeldingen innført budsjettvirkning som tilleggsargument, men uten offentlig  å angi kriterier. Budsjettvirkning blir tallfestet i metodevurderingene, men tallene ble ikke brukt av forskergruppen. Usikkerhet i beslutningsgrunnlag som ofte anføres som begrunnelse for avslag, ble heller ikke brukt, men kan leses ut av offentlige sakspapirer. Gruppen brukte ikke alder, kjønn, diagnosegruppe eller pasientgruppens størrelse i analysene selv om disse er angitt metodevurderingene. Vi får derfor ikke belyst om Beslutningsforum – bevisst eller ubevisst – har brukt slike kriterier. Når de er utelatt, kan det medføre at effekten av hovedkriteriene blir overdrevet på grunn av confounding.

Interessekonflikter

Forskergruppen i Bergen har stått sentralt i utformingen av de norske hovedkriteriene. Dette er velkjent for norske lesere, men trolig helt ukjent for de fleste utenlandske. I artikkelen sies følgende om interessekonflikter: “Conflict of Interest Disclosures: None reported”. Det kan godt tenkes at dette er i tråd med tidsskriftets regler, men er det etisk forsvarlig? Etter mitt syn bør interessekonflikter rapporteres hvis lesere kan tenkes å ha interesse av det.

En mager trøst

Artikkelen fremstår som en skjønnmaling av Nye metoder der sentrale funn og variabler er forbigått i taushet eller ikke analysert. Leseren kan ikke etterprøve analysene fordi data er hemmelige, og to grafer er uten tall på aksene. De statistiske analysene er mangelfulle ved at sentrale variabler er utelatt. Mulige interessekonflikter er ikke belyst. Er dette etisk forsvarlig? Etter mitt syn bør artikkelen være en mager trøst for Nye metoders forsvarere.

Interessekonflikter: ISK har mottatt lønn, honorar, måltider, reisestøtte og gaver fra en lang rekke offentlige institusjoner og private for-profit og non-for-profit institusjoner, herunder Proba samfunnsanalyse