Onko aika olettaa, että terveystutkimukset ovat huijausta, kunnes toisin todistetaan?

Onko aika olettaa, että terveystutkimukset ovat huijausta, kunnes toisin todistetaan?

Terveystutkimus perustuu luottamukseen. Terveysalan ammattilaiset ja lehtitoimittajat, jotka lukevat kliinisen kokeen tuloksia, olettavat, että koe tapahtui ja että tulokset raportoitiin rehellisesti. Mutta noin 20 prosenttia ajasta, sanoi Ben Mol, synnytysten ja naistentautien professori Monash Healthissa, he olisivat väärässä.

Koska olen ollut huolissani tutkimuspetoksista 40 vuotta, en ollut niin yllättynyt tästä luvusta kuin monet olisivat, mutta se sai minut ajattelemaan, että aika saattaa olla tullut lopettaa olettaminen, että tutkimus todella tapahtui ja raportoitiin rehellisesti, ja olettaa, että tutkimus on vilpillistä, kunnes on joitain todisteita sen puolesta, että se on tapahtunut ja raportoitu rehellisesti. Cochrane-yhteistyö, joka tarjoaa "luotettavaa tietoa", on nyt ottanut askeleen tähän suuntaan.

Kuten hän kuvasi viime viikolla pidetyssä webinaarissa, Ian Roberts, epidemiologian professori Lontoon hygienia- ja trooppisessa lääketieteellisessä koulussa, alkoi epäillä kokeiden rehellistä raportointia, kun kollega kysyi, tiesikö hän, että hänen systemaattinen katsaus osoitti mannitolin puolittaneen pään vamman aiheuttaman kuoleman ja perustui kokeisiin, joita ei koskaan ollut tapahtunut.

Hän ei tiennyt, mutta aloitti kokeiden tutkimisen ja vahvisti, että niitä ei koskaan ollut tapahtunut. Kaikilla kokeilla oli johtava kirjoittaja, joka väitti olevansa peräisin laitoksesta, jota ei ollut olemassa, ja joka teki itsemurhan muutama vuosi myöhemmin.

Kokeet julkaistiin kaikki arvostetuissa neurokirurgian lehdissä, ja niillä oli useita yhteiskirjoittajia. Kukaan yhteiskirjoittajista ei ollut toimittanut potilaita kokeisiin, ja osa ei tiennyt olevansa yhteiskirjoittajia ennen kuin kokeet julkaistiin. Kun Roberts otti yhteyttä yhteen lehdistä, päätoimittaja vastasi, että "en luottaisi tietoihin". Miksi hän sitten julkaisi kokeen, Roberts ihmetteli. Yhtään kokeista ei ole vedetty takaisin.

Myöhemmin Roberts, joka johti yhtä Cochrane-ryhmää, teki systemaattisen katsauksen kolloidien ja kristalloidien vertailusta ja huomasi jälleen, että monet katsaukseen sisällytetyistä tutkimuksista eivät olleet luotettavia.

Hän on nyt skeptinen kaikkia systemaattisia katsauksia kohtaan, erityisesti niitä, jotka perustuvat useiden pienten tutkimusten katsauksiin. Hän vertasi alkuperäistä ideaa systemaattisista katsauksista timanttien etsimiseen, tietoon, joka oli käytettävissä, kun se koottiin systemaattisesti, mutta nyt hän ajattelee systemaattisten katsausten läpikäymistä roskien etsimisenä. Hän ehdotti, että pienet yksittäisen keskuksen tutkimukset pitäisi hylätä eikä niitä pitäisi yhdistää systemaattisissa katsauksissa.

Mol, kuten Roberts, on suorittanut systemaattisia katsauksia vain huomatakseen, että useimmat sisällytetyistä tutkimuksista joko olivat huonosti tehtyjä tai epäluotettavia. Hän kysyi, mikä ongelman laajuus on? Vaikka tutkimusten peruutukset ovat lisääntymässä, vain noin 0,04% biolääketieteellisistä tutkimuksista on peruutettu, mikä viittaa siihen, että ongelma on pieni. Mutta anestesiologi John Carlisle analysoi 526 Anaesthesialle toimitettua tutkimusta ja huomasi, että 73 (14%) sisälsi vääriä tietoja ja 43 (8%) luokitteli zombietutkimuksiksi. Kun hän pystyi tarkastelemaan yksittäisten potilaiden tietoja 153 tutkimuksessa, 67 (44%) sisälsi epäluotettavia tietoja ja 40 (26%) oli zombietutkimuksia. Monet tutkimuksista olivat johtavien lääketieteellisten lehtien sivuilla.

Toiset ovat löytäneet samankaltaisia tuloksia, ja Molin paras arvaus on, että noin 20% kokeista ovat vääriä. Hyvin harvoja näistä artikkeleista vedetään takaisin.

Olemme jo pitkään tienneet, että vertaisarviointi on tehottomaa petosten havaitsemisessa, varsinkin jos arvioijat lähtevät, kuten useimmat tähän asti ovat lähteneet, oletuksesta, että tutkimus on rehellisesti raportoitu. Muistan olleeni mukana paneelissa 1990-luvulla tutkimassa yhtä Britannian raaimmista petostapauksista, kun tilastollinen arvioija kertoi meille löytäneensä useita ongelmia tutkimuksesta ja toivoi vain, että se olisi tehty paremmin kuin miten se oli raportoitu. Kysyimme häneltä, oliko hän koskaan harkinnut, että tutkimus voisi olla vilpillinen, ja hän kertoi, ettei ollut.

Olemme nyt saavuttaneet pisteen, jossa systemaattisia katsauksia tekevien on lähdettävä siitä, että tutkimus on vilpillinen, kunnes heillä on jotain näyttöä päinvastaisesta.

Jotkut tukevat todisteet tulevat siitä, että koe on rekisteröity ja että sille on myönnetty eettisen toimikunnan hyväksyntä. Andrew Grey, lääketieteen apulaisprofessori Aucklandin yliopistosta, ja muut ovat kehittäneet noin 40 kohdan tarkistuslistan, jota voidaan käyttää huijausten seulontatyökaluna. REAPPRAISED-tarkistuslista (tutkimushallinto, etiikka, tekijyys, plagiaatti, tutkimuksen toteutus, analyysit ja menetelmät, kuvan manipulointi, tilastot, virheet, datan manipulointi ja raportointi) käsittelee asioita kuten "eettinen valvonta ja rahoitus, tutkimustuottavuus ja tutkijoiden työmäärä, satunnaistamisen pätevyys, tulosten todennäköisyys ja duplikaattidatan raportointi". Tarkistuslistaa on käytetty havaitsemaan tutkimuksia, jotka on myöhemmin vedetty takaisin, mutta sitä ei ole käyty läpi täydellisesti kliinisen seulontatyökalun odotetulla tavalla. (Mutta minun täytyy onnitella kirjoittajia nerokkaasta lyhenteestä: jotkut sanovat, että lyhenteen keksiminen tutkimukselle on koko prosessin vaikein osa.)

Roberts ja muut kirjoittivat The BMJ:lle kuusi vuotta sitten monista epäluotettavista ja huonosti tehdystä kokeista, joita kutsutaan "zombie-kokeiksi".

Heidän artikkelinsa otsikko oli provosoiva: "Tietojärjestelmä, joka tukee terveydenhuoltoa, ei ole tarkoitukseen sopiva ja se on muutettava." He halusivat, että Cochrane-yhteistyö ja kaikki, jotka tekevät systemaattisia katsauksia, ottavat petosongelman hyvin vakavasti. Ehkä se oli sattumaa, mutta muutama viikko ennen webinaaria Cochrane-yhteistyö julkaisi ohjeet tutkimusten tarkistamisesta, joissa on ollut poisto, huolenilmaus tai tutkijat ovat huolissaan tietojen luotettavuudesta. Poistot ovat helpoimpia käsitellä, mutta kuten Mol sanoi, ne ovat vain murto-osa epäluotettavista tai zombie-tutkimuksista. Cochrane-kirjaston pääkirjoituksessa uusien ohjeiden ohella tunnustetaan, ettei ole yksimielisyyttä siitä, mikä tekee tutkimuksesta epäluotettavan, seulontatyökalut eivät ole luotettavia ja "virheellinen luokittelu voisi johtaa maineen vahingoittumiseen kirjoittajille, oikeudellisiin seurauksiin ja eettisiin kysymyksiin, kun osallistujat ovat osallistuneet tutkimukseen, jota pidetään mitättömänä.

" Yhteistyö on varovaista, mutta sillä on vaarana menettää uskottavuutensa - ja tulonsa - jos maailma lakkaa luottamasta Cochrane-katsauksiin, koska ne perustuvat epäluotettaviin tutkimuksiin.

Tutkimuspetos nähdään usein vain muutaman ”mädän omenan” ongelmana, mutta Barbara K. Redman, joka puhui webinaarissa, väittää, että se ei ole muutaman ”mädän omenan” ongelma, vaan pilaantuneen ”omenatarhojen” ongelma.

Kirjassaan Research Misconduct Policy in Biomedicine: Beyond the Bad-Apple Approach hän väittää, että tutkimuslaitoksen petos on järjestelmäongelma - järjestelmä kannustaa julkaisemaan petollisia tutkimuksia eikä sillä ole riittäviä sääntelyprosesseja.

Tutkijat etenevät julkaisemalla tutkimuksia, ja koska julkaisujärjestelmä perustuu luottamukseen, eikä vertaisarviointi ole suunniteltu petosten havaitsemiseen, on helppo julkaista petollisia tutkimuksia.

Aikakauslehtien ja kustantajien liiketoimintamalli perustuu julkaisemiseen, mieluiten paljon tutkimuksia mahdollisimman halvalla.

Heillä on vähän kannustimia tarkistaa petoksia ja positiivinen kannustin välttää maineen vahingoittumista - ja mahdollisesti oikeudellista riskiä - vetämällä tutkimuksia takaisin. Rahoittajilla, yliopistoilla ja muilla tutkimuslaitoksilla on samanlaiset kannustimet rahoittaa ja julkaista tutkimuksia sekä vastakkaiset kannustimet olla puuttumatta mahdollisesti petollisiin tutkimuksiin, joita he ovat voineet rahoittaa tai joita on tehty heidän laitoksessaan - ehkä jopa yhden heidän tähtitutkijoistaan toimesta.

Säädösviranomaisilla on usein vain vähän oikeudellista asemaa ja resursseja vastata selvästi laajaan petokseen, tunnustetaan että tutkimuksen osoittaminen petolliseksi (toisin kuin sen epäileminen petolliseksi) on vaativa, monimutkainen ja aikaa vievä prosessi. Toinen ongelma on, että tutkimus on yhä kansainvälisempää, mukana on osallistujia monista laitoksista monissa maissa: Kuka sitten ottaa vastaan epäkiitollisen tehtävän tutkia petoksia? Tieteellä on todella tarvetta globaalille hallinnolle.

Roberts päätti, että kaikki voittavat julkaisupelissä, paitsi potilaat, jotka kärsivät huijaustietoihin perustuvien hoitojen seurauksista.

Stephen Lock, edeltäjäni BMJ:n toimittajana, alkoi huolestua tutkimushuijauksista 1980-luvulla, mutta ihmiset pitivät hänen huoliaan eksentrisinä. Tutkimusviranomaiset väittivät, että petos on harvinaista, sillä ei ole merkitystä, koska tiede korjaa itse virheensä, eikä yksikään potilas ollut kärsinyt tieteellisen petoksen vuoksi.

Kaikki syyt olla ottamatta tutkimushuijausta vakavasti ovat osoittautuneet vääriksi, ja Lockin huolista 40 vuotta myöhemmin ymmärrämme, että ongelma on valtava, järjestelmä kannustaa petokseen eikä meillä ole riittäviä keinoja vastata siihen.

On ehkä aika siirtyä oletuksesta, että tutkimus on tehty ja raportoitu rehellisesti, olettamaan sen olevan epäluotettavaa, kunnes vastaan tulee todisteita päinvastaisesta.

Richard Smith oli BMJ:n toimittaja vuoteen 2004 asti.

Artikkeli on ilmestynyt 2021

Suomennettu artikkelista:

https://canadahealthalliance.org/wp-content/uploads/2022/09/Time-to-assume-that-health-research-is-fraudulent-until-proven-otherwise_-The-BMJ.pdf