Keď už vieš, že máš pred sebou štúdiu, ktorá stojí za pozretie, prichádza druhá polovica práce: prečítať ju tak, aby ťa nepomýlila. Podstatné je len pár vecí — v ktorej časti práce sa skrýva to dôležité, ktoré štyri čísla o niečom naozaj vypovedajú, koho a ako dlho sledovali, a kto to celé zaplatil. Štatistike rozumieť nemusíš.
Toto je pokračovanie článku Ako čítať vedecké štúdie a nenaletieť titulkom, v ktorom ide o to, ktoré typy štúdií čo dokážu ukázať. Tu ideme dovnútra jednej konkrétnej práce.
Kde v štúdii hľadať pravdu
Každá vedecká práca má rovnakú stavbu. Keď ju poznáš, vieš, kam sa pozrieť.
Abstrakt je zhrnutie na začiatku, jedna až dve vety z každej sekcie. Je to v podstate marketing práce, píše sa tak, aby zaujal a aby sa dal citovať. Všetky výhrady, obmedzenia a „ale" sa doňho nezmestia. Existuje pre to aj posmešné pomenovanie: bojovník abstraktov. Človek, ktorý si prečíta zhrnutie a ide s ním do internetovej debaty presvedčený, že vec pochopil.
Úvod vysvetľuje, čo sa už vie, čo je sporné, a hlavne dve veci: cieľ a hypotézu. Zapamätaj si ich, neskôr budeš kontrolovať, či sa práca naozaj venovala tomu, čo sľúbila.
Metodika je najnudnejšia a najdôležitejšia časť. Kto boli účastníci, koľko ich bolo, ako dlho to trvalo, čo presne sa meralo a ako. Deväťdesiat percent problémov so štúdiami sa dá odhaliť práve tu.
Výsledky obsahujú suché čísla bez interpretácie, tabuľky a grafy.
Diskusia je časť, kde autori sami priznávajú, čo ich práca nedokáže. Býva tam prekvapivo úprimný odsek s obmedzeniami a je to zvyčajne najhodnotnejších dvadsať riadkov celej práce. Ak nemáš čas na nič iné, prečítaj si abstrakt a potom obmedzenia v diskusii. Rozdiel medzi tým, ako to znie na začiatku a čo autori priznávajú na konci, ti povie veľa.
Financovanie a konflikt záujmov sú úplne na konci, drobným písmom. O tom o chvíľu.
Percentá, ktoré vyzerajú väčšie, než sú
Veľkosť efektu nie je to, či rozdiel existuje, ale aký je veľký. Toto číslo v titulkoch takmer nikdy nie je, hoci je zo všetkých najdôležitejšie. Existujúci, ale nepatrný rozdiel je v praxi to isté ako žiadny.
Relatívne verzus absolútne čísla. „Zníženie rizika o 50 %" znie dramaticky. Kým nezistíš, že riziko kleslo z dvoch prípadov na jeden zo stotisíc ľudí. Absolútny rozdiel je jeden prípad na stotisíc. Relatívny je polovica. Obe čísla sú pravdivé, jedno z nich je zavádzajúce. Háda sa ľahko, ktoré sa dostane do titulku. Vždy hľadaj absolútne čísla. Keď v článku nie sú, autor ich buď nepochopil, alebo ich schoval schválne.
Významnosť a interval, ktorý prezradí neistotu
Štatistická významnosť, čiže p-hodnota, zjednodušene hovorí, aká je pravdepodobnosť, že by taký výsledok vyšiel čírou náhodou.
0,05
Konvenčná hranica, pod ktorou sa výsledok označuje za štatisticky významný. Je to dohoda medzi výskumníkmi, nie prírodný zákon, a práve okolo nej sa deje väčšina manipulácií.
Treba k tomu vedieť dve veci. Po prvé, štatisticky významný neznamená dôležitý: pri dosť veľkej vzorke vyjde významný aj rozdiel, ktorý v živote nepocítiš. Po druhé, tá hranica je dohoda, takže výsledok tesne pod ňou a tesne nad ňou sú si oveľa bližšie, než ako sa o nich píše.
Konfidenčný interval je rozsah, v ktorom sa pravdepodobne nachádza skutočná hodnota. Keď štúdia uvádza, že zásah zlepšil výkon o 5 % s intervalom od 4 do 6 %, je to celkom istý výsledok. Keď je interval od −2 do 12 %, znamená to, že v skutočnosti nevieme skoro nič: možno to pomáha veľmi, možno to škodí. Široký interval je znak malej vzorky a je to jeden z najlepších rýchlych ukazovateľov toho, ako vážne sa dá výsledok brať.
Na kom, ako dlho a koľkí odpadli
Tri otázky z metodiky, ktoré vyradia väčšinu senzačných zistení.
Na kom. Dvadsať vysokoškolákov nie je populácia. Výsledok z profesionálnych športovcov neplatí automaticky pre bežného človeka po štyridsiatke. Štúdia robená výlučne na mladých mužoch nehovorí o ženách po menopauze. Vždy sa pozri, či sa účastníci aspoň vzdialene podobajú na teba.
Ako dlho. Toto je najväčšia slabina výskumu výživy a životného štýlu vôbec. Najdlhšie randomizované štúdie o strave trvali dva roky, drvivá väčšina má štyri až šesť týždňov. Dôvod je prozaický: ľudia nedodržia diétu dlhšie a nikto to nezaplatí. Znamená to, že o dlhodobých účinkoch čohokoľvek vieme podstatne menej, než sa tvári polovica internetu.
Koľkí odpadli. Keď štúdia začala so stovkou ľudí a dokončilo ju štyridsať, výsledok hovorí o tých štyridsiatich vytrvalých, a to je úplne iná skupina, než s akou sa začínalo. Vysoká miera odpadu je varovný signál, ktorý sa v abstrakte nikdy nespomína.
Ako sa dá s výsledkami manipulovať
Nie vždy ide o podvod. Často je to len ľudská tendencia hľadať v dátach niečo pekné. Ale výsledok je rovnaký.
Zmena otázky po výsledku. Poctivý postup je: sformulujem hypotézu, zaregistrujem protokol vopred, spravím pokus, a ak mi nevyjde, zmením záver. Nepoctivý postup je opačný: spravím pokus, pozriem sa, čo vyšlo, a dodatočne k tomu dopíšem otázku, akoby som ju mal od začiatku. Dobrý výskumník mení závery, aby sedeli k dátam. Zlý mení dáta a otázky, aby sedeli k záveru.
Lovenie významnosti. Keď v štúdii meriaš dvadsať ukazovateľov, čisto štatisticky ti jeden z nich vyjde významný aj vtedy, keď v skutočnosti nič nefunguje. Stačí potom napísať článok o tom jednom. Preto sa dnes protokoly registrujú vopred vo verejných registroch, aby bolo vidieť, čo sa malo merať pôvodne. Keď štúdia takú registráciu spomína, je to dobré znamenie.
Publikačné skreslenie. Štúdie, ktoré nič nenašli, sa horšie publikujú. Časopisy chcú objavy, nie nudu. Výsledkom je, že literatúra ako celok je posunutá smerom k pozitívnym výsledkom, aj keď nikto nič nesfalšoval.
Vyberanie hrozienok. Najbežnejšia chyba u čitateľov aj u ľudí, ktorí o vede píšu na sieťach. K takmer akémukoľvek tvrdeniu sa dá nájsť aspoň jedna štúdia, ktorá ho podporuje.
Mýtus
Našiel som štúdiu, ktorá to potvrdzuje.
Fakt
Otázka nikdy neznie, či existuje štúdia. Znie, čo hovorí celok dôkazov.
Kto to zaplatil a kde to vyšlo
Zdroj financovania nájdeš na konci každej práce, spolu s vyhlásením o konflikte záujmov.
Štúdia platená výrobcom nie je automaticky zlá. Veľká časť poctivého výskumu vzniká z peňazí priemyslu, lebo to jednoducho nikto iný nezaplatí. Ale je to dôvod čítať pozornejšie, najmä keď záver podozrivo presne kopíruje marketingové posolstvo objednávateľa, alebo keď sa meral práve ten ukazovateľ, ktorý produktu vyhovuje.
Rovnako sa oplatí pozrieť, kde práca vyšla. Existujú takzvané predátorské časopisy, ktoré za poplatok uverejnia čokoľvek bez skutočnej recenzie. A pozor aj na preprinty, teda práce zverejnené pred recenziou. Nie sú bezcenné, ale ešte neprešli kontrolou kolegov z odboru.
Kde si to overíš
Nemusíš veriť článku, ktorý o štúdii píše. Skoro vždy sa dá dostať k originálu.
PubMed je bezplatná databáza biomedicínskej literatúry a nájdeš v nej abstrakty prakticky všetkého. Cochrane Library obsahuje systematické prehľady, ktoré patria k najprísnejšie robeným na svete. Google Scholar ukáže, koľkokrát bola práca citovaná a kým.
Na kontrolu poctivosti slúžia dve stránky: Retraction Watch sleduje stiahnuté štúdie a PubPeer zbiera odborné výhrady k jednotlivým prácam. Keď sa štúdia, o ktorej sa práve píše, objavuje na jednej z nich, vieš dosť.
A jedna praktická vec: väčšina novinárskych článkov o vede neuvádza odkaz na pôvodnú prácu. To samo osebe je varovný signál. Keď sa k originálu nedá dostať, zaobchádzaj s tvrdením ako s klebetou.
Malý slovníček
Randomizácia — náhodné rozdelenie účastníkov do skupín. Jediný spoľahlivý spôsob, ako oddeliť účinok od náhody a od vplyvu životného štýlu.
Zaslepenie — účastníci, a pri dvojitom zaslepení aj výskumníci, nevedia, kto dostal skutočný zásah a kto placebo.
Placebo — neúčinná náhrada, ktorá slúži na porovnanie. Samotné očakávanie účinku dokáže reálne zmeniť výsledok, preto sa bez porovnávacej skupiny nedá nič posúdiť.
Kohorta — skupina ľudí sledovaná dlhodobo dopredu.
Zavádzajúca premenná — tretí faktor, ktorý ovplyvňuje obe sledované veci naraz a vytvára zdanlivú súvislosť.
Náhradný ukazovateľ — meraná hodnota, ktorá má zastupovať to, čo nás naozaj zaujíma, napríklad cholesterol namiesto infarktu.
Veľkosť efektu — ako veľký je zistený rozdiel, nie iba či existuje.
p-hodnota — pravdepodobnosť, že by taký výsledok vyšiel náhodou. Hranica 0,05 je dohoda, nie zákon.
Konfidenčný interval — rozsah, v ktorom sa pravdepodobne nachádza skutočná hodnota. Čím širší, tým menej vieme.
Meta-analýza — štatistické spojenie výsledkov viacerých štúdií do jedného čísla.
Systematický prehľad — práca, ktorá podľa vopred daných pravidiel zozbiera a zhodnotí všetky štúdie na danú tému.
Preprint — práca zverejnená pred odbornou recenziou.