Tvilsom partiell vurdering av Nye Metoder

I et blogginnlegg kritiserte jeg en artikkel om Nye metoder av Tranvåg, Ariansen Haaland, Robberstad og Norheim (forfatterne) De svarer på kritikken med påstand om at jeg ikke har lest artikkelen grundig nok og at jeg er usaklig. Jeg har nå lest artikkelen enda en gang og funnet flere problemer. Leserne kan selv lese artikkelen og vurdere om min kritikk er usaklig:  

• Forfatterne hevder i sitt svar at «vår artikkel er ikke, og var heller aldri ment som en evaluering av Nye metoder-systemet». I artikkelen skriver de derimot at «this analysis aims to present and evaluate a drug appraisal system that balances concerns for health maximization and fair distribution of health outcomes in an explicit and systematic manner». Betyr ikke dette at målet var å evaluere Nye Metoder? Eller mener de at de har gjort en «partiell evaluering» der negative sider ved systemet kan utelates?
  
• Forfatterne skriver: «At Kristiansen antyder at vi aktivt valgte å ikke følge opp funn fra Proba-rapporten som ble offentligjort i november 2021 faller på sin egen urimelighet». Faktum er at forfatterne, som må antas å kjenne Proba-rapporten, hverken omtalte den i artikkelen, siterte den eller omtalte all annen kritikk av Nye metoder.
  
• Forfatterne utelot selvfølgelige variabler som alder og kjønn i sine analyser og hadde heller ikke med budsjettkonsekvenser og usikkerhet som mulige forklaringsvariabler. Forfatterne svarer at «det er faktisk ikke korrekt, slik Kristiansen skriver, at budsjettkonsekvens og usikkerhet blir publisert i rapportene. For de analysene som gjelder – nemlig de som inkluderer konfidensielle priser – er budsjettkonsekvensene i all vesentlighet sladdet». Det siste er korrekt nok, men Legemiddelverkets metodevurderinger presenterer budsjettkonsekvenser basert på offentlige priser, og forfatterne analyserte også beslutninger basert på offentlige priser. Det er også riktig at Legemiddelverket vanligvis ikke presenterer analyser av usikkerhet basert på numeriske analyser - slik de burde. Usikkerhet omtales derimot både i metodevurderinger og øvrige sakspapirer med kvalitative termer. Forfatterne kunne derfor lett ha utviklet nominative eller ordinale variabler for å teste effekt av usikkerhet.
  
• At forfatternes statistiske modeller viser brukbar til god (men også dårlig) tilpasning, bortforklarer ikke det faktum at størstedelen av variasjon i beslutningene ikke blir forklart av kostnad, effekt og alvorlighet. I fire av seks analyser kunne disse kriteriene forklare 23%-31% av variasjonen i beslutningene. Det betyr at størstedelen av variasjonen enten forklares av tilfeldigheter eller av utelatte variabler. I to av seks analyser forklarte bidro kriteriene nesten ikke til å forklare beslutningene (6-7% forklart varians).
  
• «Det er mulig det er denne misforståelsen som ligger bak når Kristiansen skriver at "... kostnad og effekt var nærmest uten betydning for noen av beslutningene …" Dette stemmer rett og slett ikke, og illustreres blant annet i vår Figur 2 i artikkelen. » Stemmer det ikke at forklart varians var nesten null i to av seks analyser (Table 1)? Etter mitt syn bør leseren legge langt mer vekt på kvantitative analyser basert på fullstendig datasett (Table 1) enn en figur med rangordnede data for et ikke-komplett datasett (Figure 2).
  
• Forfatterne skriver: «Tre av oss hadde heller ingen rolle i forarbeidene til Prioriteringsmeldingen, mens den fjerde foreslo en annen operasjonalisering av alvorlighet enn den som ble innført og som nå er satt under lupen». Spørsmålet er da om dette representerer interessekonflikter, men slike ble ikke rapportert i forfatternes artikkel. Etter mitt syn bør forskere som bærer den etiske fane høyt, være særlig nøye med å rapportere interessekonflikter.
  
• Forfatterne skriver i artikkelen: «The findings of this study suggest that cost-effectiveness estimates are systematically adjusted with concerns for fair distribution of health gains in appraisals for new drugs in Norway». Mener de at Legemiddelverket systematisk justerer cost-effectivness-estimatene etter sykdommens alvorlighet? Det er en alvorlig påstand fordi Legemiddelverket skal estimere ICER på basis av kostnad og effekt, ikke på basis av alvorlighet. Eller mener de at beslutningene blir påvirket av alvorlighet slik Prioriteringsmeldingen tilsier? I så tilfelle er vi tilbake til de motstridende analyser forfatterne presenterer. Dersom eFigur 2 var bakgrunnen for påstanden, er det verdt å legge merke til at tre av fire analyser bak figurene var ikke-signifikante.

Etter mitt syn gir forfatternes data grunnlag for å konkludere at det synes å være en viss sammenheng mellom Prioriteringsmeldingens hovedkriterier og Beslutningsforums beslutninger når disse er basert på hemmelige priser, men ikke når de er basert på offentlige priser. Uansett gjelder analysene bare et mindretall av alle beslutninger.

Tillit må antas å være en vesentlig side ved prioriteringssystemer slik det ble drøftet i en sesjon under Arendalsuka. Forfatterne unnlater å nevne all mistillit som har vært uttrykt fra pasienter, pasientforeninger og helsepersonell. Er dette god forskningsetikk fordi man påberoper seg å gjøre en slags partiell evaluering?

Forfatterne avslutter sitt svar med å påstå at jeg har lest deres artikkel som fanden leser bibelen. Jeg vet ikke hvordan fanden leser bibelen, men for egen del kan jeg si at jeg leser bibelen (og koranen) med kritiske øyne.