Pärast võltsitud statistika süüdistusi seab suur meditsiiniajakiri selle rekordi

Vahemere dieedi kasulikkusest tervisele kirjutati ümber pärast statistilist analüüsi, mis andis teada häirekelladest.

Jozef Polc / 500 pikslit

Pärast võltsitud statistika süüdistusi seab suur meditsiiniajakiri selle rekordi

Autor: Jennifer Couzin-FrankelJun. 13, 2018 kell 17:00

Aasta pärast seda, kui neetud ülevaade näitas, et paljud avaldatud kliinilised uuringud sisaldavad statistilisi vigu, parandab The New England Journal of Medicine (NEJM) täna viit paberit, millele ilmunud on sõrme, ning tõmbab kuuenda ümber ja avaldab uuesti selle, kas Vahemere dieet aitab südamehaigusi ennetada. (Spoilerihoiatus: vastavalt paberi uuele versioonile see ikka töötab.) Vaatamata seni eksinud vigadele toimis ajakirja süsteem paljuski plaanipäraselt ning NEJM algatas uurimise mõne päeva jooksul pärast süüdistuste esitamist.

Ajakirja ebahariliku käigu ajendas juunis 2017. aastal avaldatud vastuoluline analüüs. Kirjutamisel Anesteesias, kus ta on ka toimetaja, Suurbritannia Torquay Torbay haigla anestesioloog John Carlisle, tehti statistiline sügav sukeldus 5087 randomiseeritud kontrollitud uuringusse. Carlisle otsis arvutiprogrammi abil konkreetset tüüpi anomaaliaid: vabatahtlike tavatu määramine erinevatele raviviisidele, kui uuring oli väitnud, et ülesanded olid juhuslikud. See võib uuringu tulemusi moonutada - näiteks kui kontrollgruppi määratakse palju rohkem eakaid inimesi, samal ajal kui nooremad saavad eksperimentaalset ravi, võib uus ravim tunduda, et sellel on vähem kõrvaltoimeid, kuna inimesed, kes seda saavad, on tervislikumad.

Kaheksa ajakirja kaudu analüüsis Carlisle, kuidas vabatahtlike teatavad omadused - näiteks pikkus, kaal ja vanus - jagunesid testitud raviprotseduuride vahel. Kui ta ei näinud kindlaid mustreid - kui levik oli liiga täiuslik või liiga kaugel -, arvas ta, et ülesanded pole tegelikult juhuslikud, kas siis teadusliku väärkäitumise või ausate eksimuste tõttu. Sellesse küsitavasse kategooriasse kuulus umbes 2% ettekannetest, mille ta läbi sai.

Kuid „Kuigi minu analüüs tekitab küsimusi, ei pruugi see tingimata vastuseid tuua, ” sõnab Carlisle. Selleks pidid ajakirjad sisse astuma. Mõne päeva jooksul pärast Carlisle'i ettekannet oli NEJM 11 oma paberile helistanud kõige valjemate häirekelladega. Kuus osutus vigadeks. Viiel juhul oli tegemist statistiliste terminite seguga - näiteks kirjutades „standardhälbe”, mis mõõdab andmete varieeruvust „standardvea” asemel, tüübi standardhälbe tüüp, mis sõltub valimi suurusest.

Kuid kuuendas, 2013. aastal Hispaanias avaldatud ulatuslik kliiniline uuring, mis oli teatanud, et Vahemere dieet võib ennetada riskihaigete südamehaigusi, ilmnesid sügavamad probleemid. Maga selgus, kui me uurijatega ühendust võtsime, nad olid juba selle kallal vaeva näinud, nad olid näinud sama asja, mis meil ja mures, ütleb NEJMi peatoimetaja Jeffrey Drazen Walthamis, Massachusettsi osariigis.

Juba 15 aastat tagasi oli kohtuprotsessil osalenud ligi 7500 inimest kogu Hispaanias, nii et valesti läinud asja jälgimine polnud kerge vaeva nägemine. Hispaania teadlaste ja NEJM-i töötajate kuudepikkune uurimine avastas, et kuni 1588 uuringus osalenud inimest ei olnud korralikult randomiseeritud: mõnele määrati sama toitumine kui kellegi teisega nende leibkonnas (dieediuuringute ühine tunnus), kuid algses lehes pole seda kajastatud). Teistele, kes elasid maapiirkonnas, määrati neile kõige lähemal asuva kliiniku alusel erinevad dieedid - nt üks rühm pidi iga nädal liitri oliiviõli korjama. Uurija taipas, et ta ei saanud inimesi nii kaugele reisima, kui vaja, nii et ta tegi uuringu juhuslikuks, kliiniku, mitte üksikisiku järgi, rääkis Drazen.

Autorid analüüsisid oma andmeid uuesti ilma nende 1588 osalejata ja leidsid, et vaatamata valesti tehtud järeldustele tehti järeldus: pähklid, oliiviõli ja rasvased kalad on südame tervisele positiivsed, ehkki järeldused olid mõnevõrra vähem statistiliste andmetega kui algdokumendis. .

Ja mis ülejäänud seitsmest ajakirjast, mille Carlisle eelmisel aastal sihtis, oli? Teadus võttis kõigiga ühendust, et küsida, kas ka nemad on uurinud. Ühe Canadian Journal of Anesthesia peatoimetaja sõnul on uurimine pooleli, kuid piiratud ressursside tõttu kulgeb aeglaselt. Ühes teises anestesioloogiaajakirjas olid toimetajad paberid üle vaadanud ega leidnud põhjust ühtegi neist tagasi tõmmata. Teised ajakirjad kas ei vastanud või otsustasid uurimist mitte teha. Mõned märkisid, et Carlisle'i paber oli selle avaldamise ajal kriitika alla sattunud, osaliselt seetõttu, et selle meetodites eeldati, et teatud muutujad, näiteks pikkus ja kaal, ei ole omavahel seotud. (Carlisle nõustub, et see oli piirang, ja ütleb, et mitte kõik tema tuvastatud paberid ei sisalda tingimata vigu.)

Carlisle täpsustas oma ajakirjas Anesteesia kaheksa ettekannet, mida tasuks proovida. Kirjutasime autoritele ja saime kaks vastust teised pole vastanud, ütleb ta. Neist kahes avaldati sel nädalal parandus, ehkki see ei mõjutanud paberi järeldusi; teises väitsid autorid, et neil pole enam patsiendi andmeid, mida ajakiri taotles. Kuue jaoks, kelle vastus oli raadio vaikus, pole Carlisle kindel, kui raske seda suruda. Kui kaugele te sellesse puurite? ta imestab, eriti kui selleks aega ja raha napib.

Ehkki suurem osa vigadest on siiani väikesed, küsib Carlisle, kas need on statistiliste probleemide esilekutsuja osades paberiosadest, mida ta ei uurinud, näiteks kõigi oluliste tulemuste osas. Drazen oli piisavalt rahulolematu selle üle, mida tema enda ajakiri leidis, et andis oma käsikirjatoimetajatele statistikakursuse ja rakendas aktsepteeritud töödes täiendavat statistikat.