Čemu služi znanost ako je “većina istraživanja pogrešna”

Više od 80 posto objavljenih znanstvenih članaka iz biomedicine prikazuje rezultate pogrešno postavljenih, pogrešno usmjerenih, neponovljivih i neprovjerljivih istraživanja. Sustav koji potiče stvaranje i širenje beskorisnih rezultata potrebno je hitno mijenjati

Istraživački tim svjetskog biotehnološkog giganta Amgen, objavio  je 2012. neuspjeh ponavljanja rezultata u 47 od 53 prominentnih članaka o pretkliničkim istraživanjima za terapije tumora[i]. To je pokrenulo lavinu pitanja o ponovljivosti i korisnosti biomedicinskih istraživanja i produbio dugo prisutnu sumnju u pouzdanost objavljenih rezultata. Izvorni radovi nisu imenovani, navodno zbog zaštite povjerljivih podataka.

Takva iskustva izuzetno su česta, kaže dr. Sasha Komb, voditelj istraživanja u Amgenu, ali rezultati se objavljuju rijetko, jer je njihovo objavljivanje teško, a korist od njega mala. Prošle godine Amgen je, međutim, napravio neuobičajen, ali potreban korak: odlučio je objaviti detalje neuspjelih pokušaja potvrđivanja istraživačkih rezultata iz tri ugledna znanstvena časopisa[ii]. Neponovljivi rezultati pretkliničkih i kliničkih istraživanja vuku za sobom višestruke negativne posljedice, a u konačnici ostavljaju ogromne novčane štete. Amgenov korak jedan je u nizu pokušaja da se rasvijetli trenutno stanje na tržištu znanstvenih rezultata i pronađu konstruktivna rješenja za uočene probleme.

Članak Johna P. A. Ioannidisa, profesora na američkom sveučilištu Stanford, objavljen 2005. pod naslovom “Zašto je većina objavljenih istraživačkih rezultata pogrešna”, ima najviše pregleda u povijesti Public Library of Science (oko 2 milijuna).

Temeljna istraživanja vođena su znatiželjom i željom za spoznajom čiji je osnovni cilj širenje fundusa znanja koja mogu, no ne moraju nužno, dovesti do iskoristivih rezultata. Takva istraživanja dio su identiteta društva koji treba poticati, njegovati i financijski podupirati. Nasuprot tome, financiranje primijenjenih biomedicinskih istraživanja najčešće se temelji na obećanju pokušaja ostvarivanja rezultata boljih od onih koji su trenutno dostupni u terapijskoj intervenciji: otkrivanje novog lijeka, nove primjene postojećeg lijeka, nove metode ili novog protokola dijagnostike ili liječenja s krajnjim ciljem pomaganja oboljelima ili ugroženima nekom bolešću.

Pitanje vjerodostojnosti i korisnosti pretkliničkih i kliničkih istraživanja nije novo. Članak Johna P. A. Ioannidisa, profesora na američkom sveučilištu Stanford, objavljen 2005. pod naslovom “Zašto je većina objavljenih istraživačkih rezultata pogrešna”[iii], ima najviše pregleda u povijesti Public Library of Science (oko 2 milijuna). Uz veliku znanstvenu produktivnost, Ioannidis ulazi i u dvadesetak svjetskih znanstvenika s najvećom mjesečnom citiranošću (oko 2200 citata mjesečno, preko 800 publikacija, h-indeks 155 Google Scholar). Autor je niza članaka u kojima propituje snagu znanstvenih postavki u objavljenim pretkliničkim i kliničkim istraživanjima, pokušava utvrditi uzroke trenutne katastrofalne situacije i traži rješenja za učinkovitiju znanost.

John Ioannidis, sa Medicinskog fakulteta Sveučilišta Stanford

Nažalost, korisni rezultati u biomedicinskim člancima ne samo da su rijetka pojava, nego su i same postavke većine istraživanja pune mana, tvrdi Ioannidis[iv]. Razloge zašto neko  istraživanje nije korisno možemo podijeliti u nekoliko kategorija:

• istraživanje je pogrešno postavljeno (dizajn istraživanja slabe je statističke snage, prakse koje smanjuju mogućnost neobjektivnog opažanja nisu provedene, istraživanje je provedeno u uvjetima koji su daleko od stvarnih);
• istraživanje je pogrešno usmjereno (istraživanje se ne bavi pacijentu najvažnijim pitanjima, istraživanje se nastavlja na prethodne rezultate koji su bili pogrešni, istraživanje se ne bavi problemom čija zastupljenost ili težina mogu opravdati njegovo financiranje);
• istraživanje nije ponovljivo (iste metode, isti set podataka daju rezultate koji nisu isti prethodnima) ili nije provjerljivo (nove metode i/ili grupe podataka daju rezultate koji ne podupiru prethodne).

Srećom, širi se svijest o rasprostranjenosti ovih problema. Časopis Nature objavio je prošle godine rezultate ankete u kojoj je sudjelovalo više od 1500 znanstvenika iz raznih područja koji pokazuju da 90 posto znanstvenika smatra da je “kriza ponovljivosti” stvarnost (53 posto smatra krizu značajnom, 38 posto je smatra blagom). Više od 70 posto ispitanika barem jednom nisu uspjeli ponoviti rezultate drugih znanstvenika. Više od 60 posto ispitanika odabralo je dva glavna razloga ovakvog stanja: selektivno prikazivanje rezultata i pritisak da se objavljuje. Kao ostale razloge odabrali su slabu statističku snagu provedenih istraživanja, nedovoljan broj eksperimentalnih ponavljanja prije objavljivanja, te nedovoljno mentoriranje istraživača[v]. U utrci za financijsku podršku i akademsko napredovanje pobjeđuju oni s najvećim brojem visoko citiranih radova. Kazna za objavljivanje neponovljivih rezultata ne postoji. Ako nagrađujemo rezultat, a ne znanstvenu metodu, velike tvrdnje objavit će se brže, one oprezne teže, a one negativne najteže, neovisno o snazi znanstvene metode.

Časopis Nature objavio je prošle godine rezultate ankete u kojoj je sudjelovalo više od 1500 znanstvenika iz raznih područja koji pokazuju da 90 posto znanstvenika smatra da je “kriza ponovljivosti” stvarnost (53 posto smatra krizu značajnom, 38 posto je smatra blagom). Više od 70 posto ispitanika barem jednom nisu uspjeli ponoviti rezultate drugih znanstvenika

Što učiniti? Časopis Nature prošli je mjesec proširio pravila i zahtjeve za prijavitelje kako bi uklonio neke od čestih uzroka nerelevantnosti rezultata[vi] . Predlaže se i obavezna statistička recenzija što bi ojačalo tzv. peer–review znanstvenu recenziju koja je i sama dovedena u pitanje. Ostali časopisi trebali bi slijediti njihov primjer. Znanstvene institucije također su jedan od dionika koji mogu utjecati na povećanje kvalitete rada svojih znanstvenika. Bolje mentoriranje i podrška mladim znanstvenicima, suradnju s odjelima za statistiku i u dizajnu i u obradi rezultata istraživanja, uvođenje mjera kontrole i nagrađivanje kvalitete rada, samo se neki od koraka koje znanstvene institucije mogu poduzeti. Olakšano objavljivanje i veće vrednovanje negativnih rezultata motiviralo bi znanstvenike da takve rezultate objavljuju.

Takva predviđanja motivirala su uspostavljanje F1000Research on-line platforme koja omogućava brzo objavljivanje rezultata ispitivanja koja pokušavaju ponoviti ili potvrditi prethodno objavljene rezultate pretkliničkih istraživanja[vii]. Open data policy, kojima svi izvorni rezultati istraživanja moraju biti javno dostupni, ima smisla samo ako postoji netko tko rezultate može i želi ponovo analizirati. Science Exchange privatna je platforma koja nudi usluge pronalaženja laboratorija koji mogu ponoviti izvorna istraživanja[viii]. Istraživanja čiji se rezultati potvrde dobila bi time oznaku provjerenosti. Ako je izvediva, nezavisna provjera rezultata prije njihova objavljivanja mogla bi postati obavezna.

U vremenu smo oskudice istine i morala u znanosti. Vjerodostojnost i svrhovitost znanstvenstvenih rezultata dovedena je u pitanje. Pogrešno postavljen sustav vrednovanja znanstvenog istraživanja otvorio je mogućnost manipulacije koja je s vremenom postala normom. Promjena je nužna i moguća.

• dr. sc. Branka Bernard ima magisterij iz molekularne biologije sa Sveučilišta u Zagrebu i doktorat iz teorijske biologije sa Sveučilišta Humboldt u Berlinu

ⁱ Begley CG, Ellis LM: Drug development: Raise standards for preclinical cancer research. Nature (2012)

ⁱⁱ Baker M. Biotech giant publishes failures to confirm high-profile science. Nature (2016)

[iii] Ioannidis JP.Why most published research findings are false. PLoS Med (2005)

[iv] Ioannidis JP.: Why Most Clinical Research Is Not Useful. PLoS Med (2016)

^V  Baker M. 1,500 scientists lift the lid on reproducibility. Nature (2016)

^viNature Editorial: Announcement: Towards greater reproducibility for life-sciences research in Nature (2017)

[vii]  https://f1000research.com

[viii] https://www.scienceexchange.com