Istraživači koje ne zanima sadržaj. Metaznanost i znanost o znanosti o znanosti.

U trećem članku o replikacijskoj krizi Ivan Flis opisuje nastanak metaznanosti iz perspektive njezinih protagonista, te je smješta u kontekst pokreta za reformu znanstvenog istraživanja. Na kraju nudi kritičku perspektivu sociologa znanosti koji su skeptični prema obećanjima metaznanstvenika

• Naslovna ilustracija: Simpozij na Sveučilištu Stanford iz 2019. godine inaugurirao je metaznanost.

• Autor je psiholog, koji se bavi poviješću i filozofijom znanosti, znanstveni suradnik na Hrvatskom katoličkom sveučilištu

• Prethodni članci: Samo pozitivni se broje (i objavljuju). Upitne istraživačke prakse i problem provjere rezultata eksperimenata; Kako je institucionalizirana proizvodnja loše znanosti.

Na Sveučilištu Stanford u Kaliforniji prije tri je godine održan ključni sastanak za razgovore o replikacijskoj krizi. U tom trenutku, 2019., već se niz godina razgovaralo i objavljivalo o problemima s manjkavom replikacijom već objavljenih istraživanja, visokom stopom povlačenja objavljenih članaka u prestižnim publikacijama, etičkim propustima plagiranja ili čak prevare poput izmišljanja podataka na kojima se temelje publikacije. Razgovor su predvodili psiholozi, biolozi, istraživači u medicinskim znanostima, statističari i poneki filozof. No, sve se to vrijeme nije samo razgovaralo. Cijeli niz prijedloga i inicijativa razvijen je i upućen prema širokoj akademskoj javnosti – predložene su takozvane reforme koje ispravljaju znanstvene krive Drine. Sastanak na Stanfordu bio je posebna artikulacija tog znanstvenog pokreta jer je inaugurirao novu (ako je vjerovati njenim proponentima) znanstvenu disciplinu koju su nazvali metaznanost.

Metaznanost, kao što joj samo ime govori, znanost je o znanosti, odnosno pokušaj primjene prvenstveno kvantitativnih „objektivnih“ metoda kako bi se identificirali strukturni elementi znanstvenog istraživanja i objavljivanja, te evaluirale intervencije u te strukture. U tehnokratskoj imaginaciji okupljenih metaznanstvenika, netko je napokon okrenuo znanstvena oruđa ka proučavanju same znanosti, te će taj zaokret omogućiti novu eru optimizacije i poboljšanja u produkciji znanja. U ovom ću tekstu opisati nastanak metaznanosti iz perspektive samih metaznanstvenika te je smjestiti u širi pokret reforme znanstvenog istraživanja uslijed replikacijske krize. Za kraj ću ponuditi kritičku perspektivu sociologa znanosti koji su skeptični prema obećanjima metaznanstvenika, s kojom se i sam uvelike slažem.

• Metaznanost na stanfordski

Metascience 2019,  s podnaslovom The Emerging Field of Research on the Scientific Process, okupio je skupinu znanstvenika koji su, unazad nekoliko godina, u raznim disciplinama proučavali znanstvene procese i institucije. Već iz selekcije uzvanika i organizatora možemo prepoznati konture nekoliko intelektualnih i aktivističkih pokreta koji su se razvijali u znanosti početkom 21. stoljeća. Među pozvanim predavačima našli su se teorijski i evolucijski biolog Carl Bergstrom, koautor jedne od najpoznatijih knjiga o poluinformacijama Calling Bullshit: The Art of Skepticism in a Data-Driven World; oksfordska psihologinja Dorothy Bishop, jedna od najaktivnijih znanstvenica u raspravama o replikacijskoj krizi u psihologiji (o kojima smo pisali u prijašnjim tekstovima); Daniele Fanelli, moguće i jedan od prvih profesionalnih metaznanstvenika koji se bavio velikim studijama procjene znanstvene pristranosti na razini cijelih disciplina i zemalja; Fiona Fidler, povjesničarka i filozofkinja znanosti koja je svoj interes za infernecijalnu statistiku u psihologiji, medicini i ekologiji pretvorila u interdisciplinarnu metaistraživačku grupu na Sveučilištu u Melbourneu. Među panelistima našli su se Ivan Oransky (incijator i voditelj bloga Retraction Watch, koji prati povlačenja već objavljenih radova), znanstvena novinarka Stephanie M. Lee sa Buzzfeeda; a u znanstvenom odboru su sudjelovale filozofkinje znanosti Helen Longino i Deborah Mayo.

Drugim riječima, kroz sva ta imena i njihove profile, naziremo transdisciplinarni, široki društveni pokret za razvoj nekog drugog pristupa produkciji i evaluaciji znanosti. Sami organizatori simpozija su svoje ciljeve opisali ovako:

Tijekom ovog desetljeća, svjedočili smo nastajanju nove discipline koju nazivamo metaznanost, metaistraživanje, ili znanost o znanosti. Najuzbudljivija činjenica je da ta disciplina u nastajanju zaista jest interdisciplinarni pothvat sa sudionicima iz svake domene istraživačkog rada. Ovaj simpozij je služio kao formativni sastanak za metaznanost kao disciplinu. Sastanak je okupio vodeće znanstvenike koji istražuju pitanja kao: Kako znanstvenici generiraju ideje? Kako naše statistike, metode i mjerenja utječu na naš kapacitet za identificiranje robusnih nalaza? Je li razlika između eksploratornog i konfirmatornog istraživanja bitna? Što je replikacija, njen utjecaj te njena vrijednost? Kako se znanstvenici odnose prema dokazima i kako ih interpretiraju? Što su kulture i norme znanosti?

Predavanja na samom simpoziju bila su raznolika. Na primjer, podatkovna znanstvenica Roberta Sinatra govorila je o kvantificiranju evolucije znanstvenih karijera; statističar Andrew Gelman o varijaciji i prihvaćanju neizvjesnosti; ekonomist Edward Miguel o predregistraciji u ekonomiji; itd. Događaj je popraćen s velikom pažnjom online, među mlađim znanstvenicima iz svih disciplina, posebice među onima zainteresiranim za probleme replikacije i za Otvorenu znanost. Na neki način, 2019. na Stanfordu, ono što su do tada bili partikularni interesi šačica kritičara u raznim disciplinama dobilo je okvir i ime – metaznanost – a i prestiž svih okupljenih.

No, što je zaista metaznanost? U osnovi, ona predstavlja neku vrstu ekstenzije i usložavanja već postojeće scijentometrije (znanosti o znanstvenim literaturama) u kontekstu sve veće digitalizacije znanstvenog znanja putem baza podataka te proširenje interesa od samih outputa znanstvenika (članka), na socijalne procese i institucije koji te članke proizvode. Taj pogled na znanost, te novine koje donosi, Fortunato i suradnici (2018) opisuju kao razvoj citatnih i kolaborativnih studija koje nam govore o tome kako nastaju nova znanstvena polja i „utjecajni“ radovi, mikroskopskih modela akumulacije citata, no i studija individualnih karijera znanstvenika te njihovih odabira i gubitaka pri ostvarivanju utjecajnih znanstvenih karijera. Veliki je fokus metaznanstvenika na znanosti mreža, sofisticiranoj podatkovnoj znanosti koja se temelji na ogromnim komercijalnim bazama podataka i proučavanju timske znanosti. No, doprinosi metaznanstvenika koji su imali najveći odjek u široj znanstvenoj javnosti su razni pokušaji kvantificiranja pristranosti na razini cijelih literatura, evaluacije replikabilnosti pojedinih disciplina, ili deskriptivno reprezentativni pokušaji bilježenja neetičkih ili etički sumnjivih ponašanja znanstvenika.

Uzmimo za primjer dva rada vjerojatno prvog profesionalnog metaznanstvenika, Daniela Fanellija. Njegov citatno drugi najuspješniji rad, s 1184 citata zabilježenih na Google znalcu u trenutku pisanja ovog teksta, procjenjuje rasprostranjenost objavljivanja negativnih rezultata (u smislu ne potvrđenih hipoteza, ili ne odbačenih nul hipoteza statističkim rječnikom) u raznim disciplinama i zemljama (Fanelli, 2012). Rad je objavljen još 2012., u ranim godinama događanja vezanih uz replikacijsku krizu koje sam opisao u ranijem tekstu ovog serijala kada sam pisao o psihologiji. U istraživanju je Fanelli učinio ono što će se s godinama prepoznati kao neke glavne značajke metaznanstvenog rada:

1. Koristio se pristupom velikim znanstvenim bazama podataka kako bi analizirao 4600 objavljenih radova u svim disciplinama od 1990 do 2007;

2. Koristio je kvantitativne i statističke metode kako bi testirao supstantivnu hipotezu o funkcioniranju znanosti, odnosno pojedinih disciplina u pojedinim zemljama;

3. Supstantivna hipoteza koju je odabrao nije samo deskriptivni problem pri znanstvenom opisu znanosti, već je predmet reformskih razgovora o tome kako bi znanost trebala funkcionirati, a ne funkcionira trenutno. Fanellija je zanimalo može li opisati koliko često znanstvenici objavljuju negativne rezultate u raznim disciplinama i raznim zemljama.

Kao što je vidljivo iz grafa, rezultati su bili porazni za mnoge discipline. Proporcija pozitivnih rezultata u njegovom uzorku bila je 70.2% 1990.-1991., doživjela vrhunac 2005 s porastom na 88,6%, te se smanjila na 85,9% do 2007. Prosjek pozitivnih rezultata bio je najviši u društvenim znanostima, zatim u biomedicini i srodnim znanostima, najmanji u fizikalnim, a primijenjene su znanosti imale više objavljenih pozitivnih rezultata nego izvorne. Drugim riječima, u Fanellijevom empirijskom radu na temelju scijentometrijske analize, možemo vidjeti konture jednog od ključnih problema koje su napadali replikacijski kritičari – publikacijske pristranosti.

Drugi Fanellijev rad na koji bih želio skrenuti pozornost objavljen je 2013. pod naslovom Bibliometric Evidence for a Hierarchy of the Sciences u PLoS One. Ovaj rad, po mom mišljenju, nudi fascinantan uvid u razmišljanje metaznanstvenika. U njemu Fanelli sličnim pristupom, bibliometrijskom analizom literature, pokušava ponuditi empirijsku analizu i dokaz za jednu staru i iscrpljenu raspravu među filozofima, povjesničarima i sociolozima znanosti: Postoji li tako nešto kao hijerarhija znanosti? Fanelli uzima pogled Augustea Comtea iz 19. stoljeća, o tome da postoji „prirodni“ poredak znanstvenih disciplina u hijerarhiju, od fizikalnih prema dolje, te tu hipotezu pokušava testirati svojim metaznanstvenim metodama.

Nakon analize Fanelli dobiva poredak znanosti koji reflektira stereotipne ideje o poretku i vrijednosti pojedinih znanosti, od Comtea, preko Dvije kulture C. P. Snowa, do Sokalove afere

Fanelli je uzorkovao skoro 29,000 članaka iz 12 disciplina i „poredao“ ih po indikatorima koje on smatra da kvantificiraju neku vrstu zrelosti disciplina, odnosno ono što on naziva „metodološki i teorijski konsenzus“.  Ti objektivni parametri koje je identificirao su: broj autora (po radu), dužina članaka, broj citiranih referenci, proporcija knjiga u referencama, starost referenci, raznolikost citiranih izvora, relativna dužina naslova, korištenje prvog lica u sažecima, te vjerojatnost da pojedini rad dijeli reference s drugim radovima. Ne ulazeći dublje u članak, već možemo zaključiti što je Fanelli napravio: uzeo je poznate, uglavnom scijentometrijske, karakteristike koje razlikuju disciplinarne kulture objavljivanja te ih preimenova u parametre zrelosti. Prirodni znanstvenici češće imaju veći broj autora na radovima, kraće članke, manje referenci, manje citiraju knjige, citiraju novije radove, citiraju manje raznoliko, imaju kraće naslove, ne koriste prvo lice, te formiraju jasno identificirane citatne grupe u literaturi. Sve akademske kulture objavljivanja koje su bliže tom prirodnoznanstvenom profilu, prema Fanelliju, su zrelije odnosno pozicionirane više na komtijanskoj ljestvici hijerarhije znanosti.

Nakon detaljne i složene analize Fanelli dobiva intuitivan poredak znanosti koji jako dobro reflektira, na kvantificirani i objektificirani način, ideje o poretku i vrijednosti pojedinih znanosti koje su jedan od najraširenijih stereotipa modernih znanstvenih disciplina od Comtea, preko Dvije kulture C. P. Snowa, do Sokalove afere. Zanimljiv je njegov odgovor raznim sljedbenicima „kulturalnih“ paradigmi opisa znanosti (navodnici oko riječi kulturalno su Fanellijevi, a misli prvenstveno na povjesničare i sociologe znanosti):

Promotori „kulturalne paradigme“ mogu još tvrditi da smo samo opazili razlike u kulturalnim praksama [raznih disciplina]. Mogu tvrditi, posebice, da istraživači u recimo sociologiji jednostavno „uče“ pisati duže članke, surađuju manje, referiraju se na stariju literaturu, itd. Još istančanije, kritici bi mogli reći da konsenzus u pojedinim disciplinama nije postignut jer „podaci jasno govore“, već zbog socioloških faktora koji prisiljavaju istraživače da slijede određenu paradigmu unatoč suprotnim dokazima. Ne poričemo da disciplinarne prakse, uključujući one koje smo mjerili ovdje, imaju jaku kulturalnu i ne-kognitivnu komponentu. No, parsimonično objašnjenje za naše podatke je da je takvo kulturalno prenošenje [istraživačkih] praksi oblikovano, do određenog stupnja, objektivnim ograničenjima koja su zadana sadržajem znanstvenog istraživanja.

Drugim riječima, Fanelli tvrdi da njegova bibliometrijska analiza značajki literatura raznih disciplina govori nešto o samom esencijalnom sadržaju tih znanosti, a ne samo o kolektivnim ponašanjima znanstvenika socijaliziranih u institucijama tih disciplina. Gdje je dokaz za tu interpretaciju? To baš i nije jasno, jer se Fanelli uglavnom poziva na parsimoničnost objašnjenja i na proceduralnu objektivnost njegovih mjera, iako je nejasno zašto bismo sadržajno slijedili njegove interpretacije toga što dužina naslova članka točno govori o ontološkom statusu znanstvenih koncepata pojedinih disciplina.

Ova dva članka plastično prikazuju neke od značajki metaznanstvenih analiza. Često su bombastično gorivo za rasprave o statusu pojedinih znanosti. U prvom radu nudi empirijski dokaz za reformske poteze tako da pojačava argument kako postoji empirijski dokaz za publikacijsku pristranost, stoga su radikalne intervencije u sustav objavljivanja ne samo opravdane, nego moralno opravdane. U drugom radu prikazuje kako razni ‘mekani’ znanstvenici poput sociologa i povjesničara odbacuju hijerarhiju znanosti kao organizacijski koncept već desetljećima, iako postoji esencijalni uzrok te hijerarhije u samoj materiji pojedinih znanosti.

Fanelli tvrdi da njegova bibliometrijska analiza značajki literatura raznih disciplina govori nešto o samom esencijalnom sadržaju tih znanosti, no zašto bismo tome vjerovali. Treba biti skeptičan prema proxy indikatorima

Tvrdim li da trebamo potpuno odbaciti metaznanstvena istraživanja? Ne, samo da ne bi nužno trebali olako vjerovati njihovom kvantifikacijskom maču pri rezanju enormno kompleksnih čvorova. U svom radu sam se i sam koristio metaznanstvenim pristupom kada sam radio tekstualne analize pola milijuna sažetaka psihologijskih članaka kako bih ispitao jednu staru hipotezu o postojanju dvije metodološke tradicije u znanstvenoj psihologiji 20. stoljeća (Flis i van Eck, 2017). Razlika između mog pristupa i Fanellijevog je da nisam naumio proizvesti bibliometrijski dokaz koji će osujetiti zadnjih šezdeset godina rada povjesničara znanosti, već ponuditi druge vrste dokaza i interpretacija već bogatom području znanstvenog rada. Zanimljivo je da moj pristup metaznanosti, tako viđen, predstavlja konsenzualniji i manje individualan rad nego Fanellijev, jer pokušavam dograditi interpretacije raznih povjesničara, a ne revidirati ih. Znači li to da je moja metaznanost „tvrđa“, hijerarhijski viša od Fanellijeve? Čisto sumnjam da bi većina čitatelja to mislila, u najmanju ruku jer PLoS One privlači redove veličine više citata nego APA-in History of Psychology u kojem smo Nees Jan van Eck i ja objavili naš rad. A o hijerarhijama i metaznanstvenim dokazima: Treba biti skeptičan prema proxy indikatorima izrazito kompleksnih individualnih i institucionalnih ponašanja znanstvenika. Kao što je bjelodano da faktor odjeka ne mjeri kvalitetu znanstvenog doprinosa, jasno je i da dužina naslova ne mjeri hijerarhijsku poziciju neke znanosti.

• Znanost o znanosti o znanosti

Dva sociologa znanosti s UCLA-a, David Peterson i Aaron Panofsky (2020), zainteresirali su se za razvoj metaznanosti i simpozij na Stanfordu, te proveli detaljno istraživanje o njemu. Peterson i Panofsky su kao izvore podataka koristili snimke predavanja na simpoziju, objavljene radove metaznanstvenika, veliku količinu white paper literature koje proizvode metaznanstvene organizacije, te preko pedeset intervjua sa sudionicima i organizatorima simpozija ali i drugim metaznanstvenicima koji nisu bili na Stanfordu 2019. Pogled na metaznanost koji je proizašao iz njihovog istraživanja je izrazito zanimljiv, te stavlja u kontekst poveznicu između replikacijske krize i nastajanja metaznanosti.

Peterson i Panofsky gledaju na metaznanost kao na vrstu društvenog pokreta u znanosti koji je nastao kao reakcija na replikacijsku krizu. U sociološkoj kvalifikaciji raznih pokreta, nazivaju metaznanost „znanstveno/intelektulalnim pokretom“. Znanstveno/intelektualni pokreti, prema sociolozima, „uspijevaju kada akteri s visokim statusom artikuliraju probleme kroz trenutne intelektualne trendove, oblikuju rješenje koje je atraktivno drugima, razviju zajednički identitet kroz interakciju s drugim kritičarima, te uspiju osigurati sigurne resurse za samo-održavanje ciljeva pokreta“ (p. 5). No, prepoznaju u metaznanosti neke neobične karakteristike za znanstveno/intelektualni pokret. Prvo, njeni ciljevi su zaista transdisciplinarni, odnosno usmjereni su na znanost kao takvu u cjelini. Dugo, metaznanstvenici su gotovo u potpunosti nezainteresirani za sadržaj znanosti, zanima ih samo forma odnosno „kako se [znanost] prakticira, snima, pohranjuje i dijeli“ (p. 6). Treće, pokušavaju smjestiti metaznanost kao hijerarhijski nadređenu disciplinu, a ne tek jednu od disciplina koje proučavaju znanosti. Četvrto, metaznanost nije samo intelektualni pokret već ima i političku (policy) dimenziju.

Znanost je postala istovjetna produkciji, uređivanju i održavanju informacija. Peterson i Panofski (UCLA)

Najzanimljiviji doprinos Petersona i Panfoskog njihov je opis takozvana tri kraka koja su dovela do razvoja metaznanosti, galvanizirani moralnom panikom o lošoj znanosti koja se proširila putem djelovanja znanstvenih novinara i samih znanstvenika na društvenim mrežama kada su artikulirali narativ o krizi replikacije. Tri kraka su Otvorena znanost, znanost o znanosti i metodološko-statistička kritika. O metodološko-statističkim kritičarima sam detaljno pisao u drugom tekstu u serijalu, kao i o Otvorenoj znanosti kao setu reformi za poboljšanje replikabilnosti pojedinih disciplina.

Odjednom se raznolika skupina aktera našla pod istom kapom metaznanosti: aktivisti za Otvorenu znanosti među kojima su mnogi knjižničari sveučilišnih knjižnica, podatkovni znanstvenici i scijentometričari koje se bave proširenjem i usložavanjem znanosti o znanosti, te metodološki i statistički kritičari koji već desetljećima kritiziraju institucionalizaciju inferencijalne statistike u raznim disciplinama. Iz neke vrste moralne panike – replikacijske krize – koja ih je okupila i usmjerila, razni metaznanstvenici postali su glavni zagovarači povećanja efikasnosti i streamlineanja znanstvenog sustava putem digitalizacije. Drugim riječima, kako to kažu Panofsky i Peterson, znanost je postala istovjetna produkciji, uređivanju i održavanju informacija (p. 19):

Metaznanstvenici tvrde da odmicanje od „pred-digitalnog“ sistema znanosti koji se temelji na pojedinim radovima [paper] prema mreži otvorenih repozitorija s interoperabilnim podacima može pogurnuti znanost u novu budućnost u kojoj se sva znanstvena područja preklapaju s podatkovnom znanošću. U toj zamišljenoj budućnosti tri kraka metaznanosti postaju jedno. Statistički metodolozi mogu postići transparentnost, a s njom, i bolju šansu za kontrolom vlastitih disciplina. Aktivisti otvorene znanosti će stvoriti slobodan tok informacija. A podatkovni znanstvenici će dobiti nove i stalno rastuće setove podataka koji su potrebni za njihov rad.

Ovdje primjećujemo i potpuni odmak od dosadašnjih filozofskih pogleda na znanost. Dosadašnje filozofije znanosti su se uglavnom bavile teorijama, eksperimentima i opservacijama. No metaznanstvenici u biti propagiraju neku vrstu „posthumane teorije znanosti u kojoj se ograničenja ljudskih pristranosti mogu prevladati totalnom transparentnošću i strojnom intervencijom“ (p. 20). Fanelli jednim empirijskim radom odbacuje više desetljeća filozofsko-povijesne-sociološke rasprave o disciplinarnoj prirodi modernih znanosti, kao da je ta rasprava tek artefakt manjka objektivnosti povjesnicara, filozofa i sociologa. Sociolozi isto tako primjećuju vrijeme nastajanja metaznanosti i njene moralne panike vezane uz replikaciju, odnosno eroziju javnog povjerenja u institucije i činjenice same u vremenima post-istine u kojima živimo. Svakako bi bilo pretjerano pojednostavljivanje pripisati nekom nejasnom društvenom kontekstu post-istine uzroke replikacijske krize i znanstvene reforme koju je generirala. No, ne primjećivanje tog šireg društvenog konteksta bi isto tako bio propust. Mislim da su Peterson i Panofsky u pravu kada izražavaju zabrinutost ako se nastavi pribjegavati jedino tehnokratskim rješenjima za kompleksne društvene procese poput manjka povjerenja, makar ta tehnokratska rješenja bila produkt podatkovne znanosti 21. stoljeća.

• Treba li nam uopće metaznanost?

Kao mladog znanstvenika odgojenog na principima Otvorene znanosti i pomalo anakronističke ideje o bavljenju znanošću kao potragom za istinom, metaznanost kao društveno-intelektualni pokret koji odgovara na organizirani narativ moralne panike replikacije ne ulijeva mi povjerenje. Ako su institucije najprestižnije znanosti Sjedinjenih Američkih Država i zapadne Europe zaista zapale u duboku krizu, trebamo li se nadati da će tehnokratska rješenja koja putem elita galvaniziraju široku znanstvenu javnost donijeti neku zaista vrijednu reformu? Kao povjesničara znanosti, brine me gotovo institucionalizirano isključenje sociologa i povjesničara znanosti iz razgovora o metaznanosti i replikacijskoj krizi.

Nisu li sociologija znanosti, STS i povijest znanosti nešto što gotovo etimološki pripada definiciji neke meta-znanosti? Zašto neki od zaista kritičnih sociologa i povjesničara nije imao priliku govoriti u Stanfordu kada su inaugurirali tu novu disciplinu? Bojim se da je odgovor izrazito jednostavan: Jer u tehnokratskoj viziju buduće znanosti metaznanstvenika nema mjesta za kritičku refleksiju ni nijansiranje produkcije znanja kao kompleksnog društvenog procesa. Ipak smo mi na dnu Fanellijevsko-Comteovske hijerarhije znanosti. Čovjek i njegova refleksivna priroda su na kraju tek izvor pristranosti i grešaka u znanstvenom procesu. Što bi tek onda trebali misliti o znanstvenicima koji tu refleksivnu, kompliciranu, višeznačnu, historijsku prirodu znanosti shvaćaju ozbiljno, te gdje je njihovo mjesto u budućoj optimiziranoj znanosti?

• Literatura

Fanelli, D. (2011). Negative results are disappearing from most disciplines and countries. Scientometrics, 90(3), 891–904. https://doi.org/10.1007/s11192-011-0494-7

Fanelli, D., & Glänzel, W. (2013). Bibliometric Evidence for a Hierarchy of the Sciences. PLOS ONE, 8(6), e66938. https://doi.org/10.1371/journal.pone.0066938

Flis, I., & van Eck, N. J. (2017). Framing Psychology as a Discipline (1950-1999): A Large-Scale Term Co-Occurrence Analysis of Scientific Literature in Psychology. History of Psychology. https://doi.org/10.1037/hop0000067

Fortunato, S., Bergstrom, C. T., Börner, K., Evans, J. A., Helbing, D., Milojević, S., Petersen, A. M., Radicchi, F., Sinatra, R., Uzzi, B., Vespignani, A., Waltman, L., Wang, D., & Barabási, A.-L. (2018). Science of science. Science, 359(6379), eaao0185. https://doi.org/10.1126/science.aao0185

Metascience 2019 Symposium—The Emerging Field of Research on the Scientific Process. (n.d.). Metascience 2019 Symposium. Pristupljeno 8. 8. 2022., na https://www.metascience2019.org/

Peterson, D., & Panofsky, A. (2020). Metascience as a scientific social movement. SocArXiv. https://doi.org/10.31235/osf.io/4dsqa