Masovno objavljuju rezultate istraživanja koji iskrivljuju sliku stvarnosti. Kontroverza se isplati

Znanost je postala profesija, uspjeh se mjeri objavama koje su potisnule spoznajni motiv. Ivan Žilić opisuje načine na koje ekonomisti prilagođavaju rezultate za koje je vjerojatnije da će biti objavljeni bez obzira na to koliko adekvatno opisuju stvarnost. Biraju se kontroverzni rezultati, prilagođavaju parametri modela. Populizam ne deformira samo znanost nego i ekonomsku politiku

• Ivan Žilić istraživač je na Ekonomskom institutu u Zagrebu

Romantična predodžba o znanstveniku kao osobi koja beskompromisno i opsjednuto teži spoznaji danas je uvelike netočna. Znanstvenik je danas profesija, posao kao i mnogi drugi, s obvezama i ciljevima. Profesionalizacija znanosti dovela je do toga da posao znanstvenika nije prvenstveno tražiti spoznaju, već objavljivati u časopisu. Kako sustavi rastu i postavljaju metrike uspješnosti kao smjernice djelovanja, tako se profesionalni legitimitet znanstvenika stječe uglavnom kroz objavu. Ipak, ostaje pitanje koliko su spoznajni cilj i cilj da se objavljuje kompatibilni? U sustavu koji se ponekad naziva objavi ili nestani (eng. publish or perish), u kojem je objava u časopisu isključivi cilj, pitanje je koliko se spoznaje radi toga žrtvuje?

Postoje ozbiljni dokazi da objava nije primarno rezultat interesa za spoznaju predmeta istraživanja, već ovisi i o zaključcima koji se iznose. U utjecajnom radu iz 2005. godine dramatičnog naziva Why Most Published Research Findings Are False John Ionnidis, promatrajući dizajn i kontekst objavljenih radova, tvrdi da je veća šansa da rezultati istraživanja budu lažni no ispravni, te zaključuje kako objavljena istraživanja najčešće odražavaju već postojeće pristranosti.

Radovi koji pokazuju da podizanje minimalne plaće smanjuje zaposlenost imaju tri puta veću šansu biti objavljeni  od onih prema kojima podizanje minimalne plaće ne utječe na zaposlenost

Iako Ionnidis u radu govori o procesu objavljivanja općenito, ekonomski istraživači često se referiraju na taj rad, a mnogi se ekonomisti zadnjih godina bave pitanjem što se točno objavljuje u ekonomiji. Osnovni je zaključak vrlo nedvosmislen – pristrano objavljivanje (eng. publication bias), tj. objavljivanje samo nekih rezultata, uvelike je pojava u ekonomiji. U preglednom radu iz 2018. Christensen i Miguel pokazuju kako radovi koji imaju snažne očekivane, ili pak snažne neočekivane rezultate, imaju veću vjerojatnost objave. Andrews i Kasy u radu iz 2019. godine, koristeći se meta analizom, zaključuju kako radovi koji pokazuju da podizanje minimalne plaće smanjuje zaposlenost imaju tri puta veću vjerojatnost biti objavljeni u časopisu od radova koji pokazuju da podizanje minimalne plaće nema utjecaja na zaposlenost. Čini se da je populizam ušao i u ekonomske znanstvene krugove – u namjeri da se objavi, isplati se biti kontroverzan.

Posljedice pristranog objavljivanja su dramatične: ako u objavljenoj literaturi vidimo samo određene rezultate, imat ćemo iskrivljenu sliku stvarnosti. Primjerice, ako je lakše objaviti rad koji pokazuje snažan negativan ili snažan pozitivan učinak povećanja minimalne plaće na zaposlenost i ako je literatura puna rezultata koji su polarizirajući, bilo koja politika minimalne plaće bit će kontroverzna. Ako nedostaje cijela grupa radova koja pokazuje kako podizanje minimalne plaće ne utječe na zaposlenost, svaki umjeren stav o minimalnoj plaći bit će neutemeljen. Pristrano objavljivanje ne utječe samo na ekonomsku politiku već i na ekonomsku profesiju – zbog oprečnih stavova, danas je izrazito teško nešto novo objaviti o učincima minimalne plaće, čemu svjedoče mnogi ekonomisti koji inače nemaju problema s objavljivanjem svojih radova.

Nesignifikantni rezultati, koji ne pokazuju značajan utjecaj, informativniji su od signifikantnih. Alberto Abadie (MIT)

Činjenica da u ekonomskim časopisima nedostaju cijele grupe rezultata prepoznata je i kritizirana. Poznati ekonometričar Alberto Abadie je 2020. godine objavio rad Statistical Nonsignificance in Empirical Economics, u kojem tvrdi da su nesignifikantni rezultati – tj. oni koji ne pronalaze značajan utjecaj, primjerice podizanja minimalnih plaća na zaposlenost – često informativniji od signifikantnih. I zaista, znajući da dio literature nedostaje, neki ekonomski časopisi počeli su poticati objave radova neovisno o signifikantnosti rezultata. Pioniri ove uređivačke politike bili su osam časopisa iz ekonomike zdravstva, koji su u veljači 2015. objavili uredničko pismo kojim fokus stavljaju na kvalitetu istraživanja, a ne na rezultate. Blanco-Perez i Brodeur u radu iz 2020. zaključuju kako je ova eksplicitna uređivačka politika smanjila razmjere pristranog objavljivanja i pridonijela većoj transparentnosti objavljenih radova.

Ipak, motivi za pristrano objavljivanje duboko su ugrađeni u proces objave u ekonomiji i možda je korisno povući paralelu s kejnezijanskim izborom ljepote (anegdota kojom se često, možda u drugom kontekstu, koristi profesor Bićanić). Dakle, ako ljudi trebaju pogoditi pobjednika izbora ljepote, neće izabrati kandidata za kojeg smatraju da je najljepši, već onog o kojem misle da će za njega glasati ostali. Analogija s objavljivanjem radova u ekonomiji je, nadam se, jasna. Kako vrednovanje kvalitete i značaja ekonomskih istraživanja sadrži dozu subjektivnosti, autori se često sami usmjeravaju prema istraživanjima koja bi se mogli svidjeti ciljanoj publici, dakle recenzentima, urednicima i ostalim autorima. Ovaj figurativni izbor ljepote još naglašava činjenica da je u dobrim ekonomskim časopisima stvarno teško objaviti – najcjenjeniji časopisi, u koje ionako pristižu najkvalitetniji radovi, objavljuju manje od pet posto primljenih radova. Ako je završni cilj istraživačkog procesa objava, a objaviti u dobrom ekonomskom časopisu je teško i dobro se nagrađuje, nije li pristrano objavljivanje logična posljedica?

Autori sami biraju rezultate koje će pretvoriti u rad i poslati u časopis, i to čine tako da povećavaju vjerojatnost prihvaćanja i objave rada. Znajući da je teško objaviti nulte, nesignifikantne, rezultate, istraživači često ne završe i ne napišu radove čiji rezultati nisu dovoljno atraktivni – ta se praksa često naziva spremanje radova u ladicu (eng. file drawer problem). Christantes i Miguel lijepo ilustriraju tu tendenciju: gotovo dvije trećine registriranih eksperimenata koji rezultiraju nultim, tj. nesignifikantnim rezultatima, uopće se ne napišu i ne pretvore u rad. S druge strane, registrirani eksperimenti koji završe snažnim rezultatima u 95 posto slučajeva postaju napisani radovi.

Odbacivanje radova s nesignifikantnim rezultatima još je i časnija verzija pristranog objavljivanja jer autori često namjerno manipuliraju istraživačkim procesom tražeći model ili specifikaciju koja im daje rezultate koji se mogu lakše objaviti. Ovakva se praksa naziva p-hakiranje (eng. p-hacking, po traženju p-vrijednosti koja implicira statističku signifikantnost) ili ponekad traženje specifikacija (eng. specification searching).

Primjerice, recimo da nas zanima utjecaj povećanja minimalne plaće u Hrvatskoj na zaposlenost u industrijama koje daju minimalnu plaću. Dakle zanima nas ekonometrijski model u kojem legislativno određena minimalna plaća utječe na zaposlenost i analiziramo magnitudu, smjer i signifikantnost tog utjecaja. Da bi došli do rezultata, moramo donijeti dosta arbitrarnih odluka kojih čitatelj, osim ako nije aktivan istraživač, nije svjestan. Primjerice, koji vremenski obuhvat promatranja i sektore uključiti, koje kontrolne varijable staviti u model, na koji način ih povezati sa zavisnom varijablom, treba li transformirati korištene varijable, i općenito, kako dizajnirati cijeli empirijski pristup.

Sve te odluke imaju dozu arbitrarnosti jer ne postoji savršeno metodološko rješenje za sva pitanja. Problem nastaje kad mijenjanje tih odluka dovodi do drugačijih rezultata, od kojih se prikažu samo neki. Na tu praksu upozoravao je Leamer još 1983. godine u radu Let’s Take the Con Out of Econometrics, u kojem zaključuje kako zapravo nitko ne vjeruje tuđoj analizi podataka.

Ako su svi modeli pogrešni, ali neki ipak korisni, koji su od dva milijuna izrađenih ustvari korisni. Sala-I-Martin (Columbia)

Ako je traženje ‘prikladnog modela’ bilo prisutno još u 1980-ima, istraživačima je to danas i jednostavnije zahvaljujući tehnološkom napretku koji je olakšao modeliranje. Primjerice, Nobelovac Heckman u radu iz 1976. komentira da postoje dva algoritma za izradu rezultata koje predstavlja, skuplji košta 700, a jeftiniji 15 dolara. Dakle, 15 dolara za jedan ekonometrijski model. U međuvremenu tehnologija toliko napreduje da 1997. godine Sala-i-Martin objavljuje rad I just ran two million regressions, u kojem kako i naslov kaže, radi dva milijuna ekonometrijskih modela. Dakle u dva desetljeća se prolazi put od toga da jedan model košta 15 dolara do toga da istraživač može na vlastitom računalu izraditi dva milijuna modela; a danas su potencijali praktički neograničeni. Pa ako su svi modeli krivi, a neki su korisni, kao što ekonomisti često vole reći, a Sala-i-Martin ih je napravio dva milijuna, koji je točno od ta dva milijuna koristan?

P-hakiranje je neosporno prisutno u radovima objavljenim u ekonomskim časopisima. Brodeur, Cook i Heyes u radu iz 2020. godine analiziraju 21 tisuću hipoteza u 25 najkvalitetnijih ekonomskih časopisa i pronalaze posljedice p-hakiranja. Autori se posebno koncentriraju na kvazi-ekperimentalne metode, za koje se tvrdi da su vratile kredibilnost ekonomskim istraživanjima, te svejedno nalaze tragove manipulacija. Zanimljivo je da autori pronalaze da se stvari ne popravljaju s vremenom, da najboljih pet časopisa u ovome nije drugačije od ostalih, te da mlađi autori imaju veću sklonost manipulacijama.

Mlađi autori imaju veću sklonost manipulacijama, najboljih pet časopisa nisu drukčiji u tome od ostalih, a manipulacija ima i prilikom primjene kvazi-eksperimentalnih metoda za koje se tvrdi da su vratile kredibilitet ekonomiji

No, to što istraživači manipulacijom istraživačkog dizajna traže rezultate koji se mogu lakše objaviti ne znači da treba demontirati cijeli profesionalni sustav znanosti – treba ga unaprijediti. Osim uređivačkih politika koje nisu usmjerene na rezultate već na kvalitetu, potencijal leži u većoj otvorenosti istraživanja, i pomaci unutar ekonomskih časopisa zaista jesu vidljivi. Mnogo kvalitetnih ekonomskih časopisa zahtijeva da se, nakon što se istraživanje prihvati za objavu, javno predaju podaci i korišteni računalni kodovi. Na taj način bilo tko može pokušati replicirati objavljene radove i sam istražiti je li se manipuliralo specifikacijama da se dobiju traženi rezultati, što pridonosi jačanju odgovornosti istraživača za napisane radove.

Manipulacijom istraživačkog dizajna traže se rezultati koji se mogu lakše objaviti

Pionir otvorenog pristupa unutar ekonomije je časopis Journal of Money Credit and Banking, koji je 1982. krenuo s obvezom dijeljenja podataka i računalnih kodova nakon objave. Rezultati su bili dvojaki, 78 posto autora je unutar šest mjeseci dalo pristup podacima i kodovima, često nakon više podsjećanja, ali podaci nerijetko nisu bili dovoljno kvalitetni da se replikacije mogu izvesti. Primjerice, Dewald, Thursby i Anderson su 1986. pokušali replicirati rezultate devet empirijskih radova iz spomenutog časopisa, i unatoč pomoći autora, jednostavno nisu uspjeli. Slične prakse pronađene su i u novijim analizama: u radu iz 2015. godine Chang i Li uspjeli su replicirati manje od pola objavljenih makroekonomskih radova koji koriste javno dostupne podatke.

Osim obveze prilaganja podataka i računalnih kodova, otvoreniji istraživački proces potiče se i mogućnošću objave replikacija u časopisima. Journal of Applied Econometrics ima odjeljak rezerviran isključivo za replikacije, a postoji i cijeli časopis posvećen replikacijama ekonomskih istraživanja – International Journal for Re-Views in Empirical Economics. Među drugim prijedlozima za jačanje otvorene znanosti u ekonomiji su i obveza da jedno poglavlje disertacije doktorskih studenata bude replikacija objavljenog istraživanja, te da autori, nakon što objave istraživanje, naprave interaktivni prilog radu koji će otkrivati koliko su rezultati robusni na mijenjanje arbitrarnih pretpostavki.

Čim je vrijeme promatranja malo produženo zaključak o minimalnim plaćama kao tihom ubojici je iščezao. Znanstveno poštenje

No ključna stvar u smanjivanju selektivnog publiciranja i manipulacija rezultatima nije urednička politika, već volja istraživača da kritički sagledaju radove kolega i budu hrabri u neslaganju. Legislativne promjene koje čine istraživanja otvorenijima svakako su dobrodošle, ali put od transparentnosti do odgovornosti nemoguć je bez kritike. Puna odgovornost za napisano istraživanje moguća je tek kad postoji objektivna šansa da će netko treći uzeti podatke korištene u istraživanju, napraviti replikaciju i objaviti komentar. I ekonomija kao disciplina, usprkos brojnim manjkavostima i problemima, ide u tom smjeru, barem ona inozemna. Većina navedenih radova koji kritički promatraju što se u ekonomiji objavljuje su iz najkvalitetnijih ekonomskih časopisa, što očito pokazuje da postoji urednički i recenzentski interes za materiju.

Osim toga, postoje i brojni primjeri gdje su glavni zaključci osporeni baš kroz replikaciju. Zanimljiv primjer je diskusija oko rada Minimum Wages and Alcohol-Related Traffic Fatalities among Teens kojeg su 2012. objavili Adams, Blackburn i Cotti u dosta kvalitetnom ekonomskom časopisu. Autori nude empirijsku potvrdu za tezu da povećanje minimalne plaće uzrokuje povećanu smrtnost mladih zbog pijane vožnje. Zaključci dodatno polariziraju raspravu o povećanju minimalne plaće, ovoga puta prilično kontroverznim argumentom – nemojte povećavati minimalnu plaću jer će dodatni dohodak biti potrošen na alkohol, dovesti do pijane vožnje i smrti. Sedam godina kasnije u istom časopisu Sabia, Pitts i Argys objavljuju komentar Are Minimum Wages a Silent Killer? New Evidence on Drunk Driving Fatalities u kojem repliciraju originalnu analizu i pokazuju da kad se samo malo proširi vremenski obuhvat, rezultati nestaju. Autori završavaju sažetak replikacije zaključkom da minimalne plaće nisu tihi ubojice, no pitanje je bi li ovaj nekontroverzni rezultat ikad bio objavljen da kontroverza u startu nije kreirana.

Ionnidis 2005. godine postavlja naslovno pitanje Why Most Published Research Findings Are False, a dvije godine kasnije Moonesinghe, Khoury i Janssens odgovaraju radom naslovljenim Most Published Research Findings Are False – But a Little Replication Goes a Long Way. I zaista, možda mnoga od objavljenih istraživanja nisu rezultat zanesenih spoznajnih poriva, ali malo otvorenosti i kritike može postići puno.

• Literatura

Abadie, A. (2020). Statistical Nonsignificance in Empirical Economics. American Economic Review: Insights, 2(2), 193-208.

Adams, S., Blackburn, M. L., & Cotti, C. D. (2012). Minimum Wages and Alcohol-related Traffic Fatalities Among Teens. Review of Economics and Statistics, 94(3), 828-840.

Andrews, I., & Kasy, M. (2019). Identification of and Correction for Publication Bias. American Economic Review, 109(8), 2766-94.

Blanco-Perez, C., & Brodeur, A. (2020). Publication Bias and Editorial Statement on Negative Findings. The Economic Journal, 130(629), 1226-1247.

Brodeur, A., Cook, N., & Heyes, A. (2020). Methods Matter: P-hacking and Publication Bias in Causal Analysis in Economics. American Economic Review, 110(11), 3634-60.

Chang, A. C., & Li, P. (2015). Is Economics Research Replicable? Sixty Published Papers from Thirteen Journals Say ‘Usually Not’. Federal Reserve Board Finance and Economics Discussion Paper 2015-083.

Christensen, G., & Miguel, E. (2018). Transparency, Reproducibility, and the Credibility of Economics Research. Journal of Economic Literature, 56(3), 920-80.

Dewald, W. G., Thursby, J. G., & Anderson, R. G. (1986). Replication in Empirical Economics: The Journal of Money, Credit and Banking Project.  American Economic Review, 76(4),587-603.

Heckman, J. J. (1976). The Common Structure of Statistical Models of Truncation, Sample Selection and Limited Dependent Variables and a Simple Estimator for Such Models. Annals of Economic and Social Measurement, 5(4), 475-492.

Ioannidis, J. P. (2005). Why Most Published Research Findings are False. PLoS Medicine, 2(8), e124.

Leamer, E. E. (1983). Let’s Take the Con Out of Econometrics. American Economic Review, 73(1), 31-43.

Moonesinghe, R., Khoury, M. J., & Janssens, A. C. J. (2007). Most Published Research Findings are False – But a Little Replication Goes a Long Way. PLoS Medicine, 4(2), e28.

Sabia, J. J., Pitts, M. M., & Argys, L. M. (2019). Are Minimum Wages a Silent Killer? New Evidence on Drunk Driving Fatalities. Review of Economics and Statistics, 101(1), 192-199.

Sala-i-Martin, X. X. (1997). I Just Ran Two Million Regressions. American Economic Review, 178-183.