Je li umjetna inteligencija prevarila profesora Marušića?

U nedavno objavljenoj knjizi "Sveučilišne tajne", koju je profesor Matko Marušić napisao uz pomoć chatbotova, Damir Stanzer pronašao je pregršt drastično pogrešnih podataka i iz njih izvedenih zaključaka. U tom će povodu u sljedećem članku analizirati ograničenja korištenja umjetne inteligencije u znanosti i na sveučilištu

• Naslovne fotografije: Knjiga u izdanju Medicinske naklade i profesor Matko Marušić (Ivana Ivanović, Pixsell)

• Autor je redoviti profesor na Prehrambeno-biotehnološkom fakultetu Sveučilišta u Zagrebu

Nedavno je profesor Matko Marušić objavio knjigu Sveučilišne tajne. Kolege su me na nju upozorile jer ona principijelno, odnosno dijelom, pokriva (i) sličnu tematiku kao i moja knjiga Mjerenje hrvatske znanosti. Oko godinu sam dana prikupljao i obrađivao podatke iz čvrstih izvora – iz dokumenata znanstvenih institucija, ministarstava, EU-a, WB-a, znanstvenih baza Scopusa i WOS-a i sl.  Obrađivao sam ogromne plahte s brojevima znanstvenika koji pišu znanstvene članke, brojevima tih članaka, citata, brojevima autora i financijama, prevodio dokumente s raznih jezika i sl. Napravio sam 70 slika, uglavnom grafikona, te oprezno oko njih ispleo tekst. Moj uvjet izdavaču, Zakladi Miko Tripalo bio je da knjiga bude besplatna pa je  i danas dostupna[i] na internetskoj stranici Zaklade.

Čini se, međutim, da je radni proces profesora Marušića obrnut od mojega. On se prvenstveno fokusirao na iznošenje svojih (dijelom radikalnih) tvrdnji, a tek se potom posvetio traženju podataka koji bi te tvrdnje navodno trebali dokazati. Nažalost – neuspjelo. Knjiga uz svoje dobre dijelove sadrži i iznenađujuće velik broj problema. Jedan dio mogućeg problema je ideološke prirode – čini se da je prof. Marušić sklon ekonomističkom shvaćanju sveučilišta kao motora gospodarstva (nasuprot sveučilištu kao stupu društva/nacije i javnom dobru), da je privržen Bolonji i neoliberalnoj „Zemlji znanja“, fasciniran jednim izvješćem OECD-a iz davne 2007. godine kao i Klaićevim prijedlogom vrednovanja znanstvenog rada iz prošlog stoljeća itd. Problem je i njegova prilično neakademska ‘paušalna’ kritika kompletne sveučilišne zajednice, i nastavnika i studenata, kao generalno nemoralnih osoba i neradnika (!) koje bi političari (!) trebali dovesti u red. Čini se također da se profesor koristi zastarjelim znanjima (iskustvima?), odnosno ne primjećuje da su neke stvari danas bar mrvicu drugačije nego u nekoj bližoj prošlosti. Napokon, primjetna je ideološka znanocentričnost te potpuno zanemarivanje utjecaja razlika u financiranju pri komparativnim analizama, zatim je tu profesorovo iznenađujuće nerazumijevanje jake razlike u mogućnosti publiciranja i citabilnosti između različitih znanstvenih područja i polja (i različitih tipova sveučilišta), kao i neshvatljivo neshvaćanje metodološkog besmisla tzv. „rangiranja sveučilišta“, odnosno pridavanje nezaslužene pažnje tim rangiranjima. No, sve nabrojano, ma koliko se meni ili nekome drugome činilo problematičnim, spada u pravo na iznošenje osobnog mišljenja, u vlastite političke ili ideološke odabire (pa i zablude), umjetničku slobodu ili pak stil. U ovom me tekstu zanima nešto čvršće i znanstvenije od svega toga – podatci, odnosno brojevi.

Profesor je povodom izlaska knjige odmah dobio ogroman prostor u medijima (Index, Jutarnji, Nacional, Slobodna Dalmacija, MojZagreb, Crolens, Glas Koncila, Mreža kulture, Grad Split, AdriaPress…) te je javnost naširoko informirana o njegovim radikalnim stajalištima za koja se čitateljima može učiniti da proizlaze i iz podataka koji su u knjizi. Budući da knjiga košta 30-ak eura – 99 % te javnosti koja je profesorove ideje i zaključke dobila u medijima neće moći provjeriti podatke na kojima ih profesor gradi.

Zavirivši u knjigu šokiran sam nekim podatkovnim promašajima, a nakon objašnjenja prof. Marušića kako i zašto je to tako radio šokiran sam i više. Nasuprot znanstvenim pravilima, profesor nije tražio čvrste izvore podataka nego je istraživanje prepustio chatbotovima! U knjizi piše: „Program umjetne inteligencije nije ovdje primijenjen zbog sklonosti novotarijama, nego zato što bi klasični način traženja podataka bio mnogo teži, pa i manje pouzdan.“ Prvi je problem s izjavom to što autor ne razumije da besplatni ‘jezični alati’ nisu pouzdaniji od znanstvenika koji istražuje stvarne, čvrste izvore, a drugi i ovdje bitniji problem je potpuno otvoreno priznanje da nije želio ići putem znanstvenika i znanstvenog rada nego je svjesno izabrao prečac jer mu je tako – lakše.

Profesor se u knjizi na brojnim mjestima ogradio od vlastite metode, ali očito nije svjestan moguće magnitude pogrešnosti podataka koje je javno iznio. Da je tome tako, pokazuje i niz zaključaka koje je izveo iz podataka. Ti zaključci su besmisleni ako se unaprijed zna da je metoda pogrešna, a podatci na kojima se zaključci temelje mogu biti i dramatično različiti (pa i obrnuti odnosno  dijametralno suprotni) od stvarnosti. Sastavni, odnosno nedjeljiv dio znanstvenog rada je i odabir ispravne metode. Na primjer, liječnik ne može izabrati amputaciju noge kao metodu liječenja bubrežnog kamenca i tu ne pomaže disklejmer „unaprijed sam pošteno naveo da ću amputirati nogu pri liječenju kamenca“ („a onda sam potpuno ispravno amputirao nogu“). Ne, mora izabrati ispravnu metodu.

Zašto je autor baš tako jako pogriješio u izboru metode? Prema mojem sudu veliku ulogu u tome ima to što je i on, kao i mi nešto mlađi, odgojen u vremenima kad se smatralo da dokumenti, institucije i proizvodi, bili privatni ili javni, moraju biti ispravni, odnosno najbolji mogući. Formirali smo se kad su mlađi ustupali starijima sjedalo u autobusu, televizori i mikseri se proizvodili tako da traju što dulje, a voćni jogurti zaista sadržavali i voće. Moguće je da mu je (i) zbog toga promaknuo kritički odmak od proizvoda kakav je chatbot. U knjizi kaže da su njegovi AI[iii] alati podatke crpili s interneta, a „ako su tamo netočni ili nepotpuni, nije krivnja programa umjetne inteligencije, nego onih koji su ih tamo trebali postaviti.“ Njegova amnestija za „AI“, odnosno proglašavanje umjetne inteligencije bezgrešnom pokazuje da vjeruje da su mu kompanije koje stoje iza njegovih chatbot-prijatelja altruistički besplatno ponudile najbolji mogući i potpuno pouzdan alat. A nisu. Daleko od toga. Nažalost chatbot nije pregledao sve dostupne podatke, nije izdvojio najvjerodostojnije među njima i nije inteligentno povezivao ili računao. U knjizi su brojna sporna mjesta za koja sva ovdje nema prostora pa ću samo na jednom primjeru detaljno ukazati na magnitudu promašaja – na medijima dragoj zapaljivoj temi usporedbe sveučilišnih Zagreba, Beograda i Ljubljane.

• Sveučilišna tajna – usporedba Zagreba, Beograda i Ljubljane

Naši mediji će 1000 puta radije objaviti neku negativnu vijest ili osobno mišljenje o Zagrebačkom sveučilištu nego nešto pozitivno o njemu. Stoga su površne i promašene usporedbe sveučilišta[iv] u Zagrebu, Ljubljani i Beogradu godinama eksploatirane u člancima koji nas tobože informiraju o tome koliko smo ovdje lošiji čak i od Ljubljane i Beograda. Profesor Marušić je u knjizi jedno čitavo poglavlje posvetio tragikomičnim ljestvicama sveučilišta/rangiranjima/rejtinzima, nažalost uvažavajući ih kao nešto ozbiljno, relevantno ili bar sporno ali vrijedno jednog poglavlja (i pozivanja na to poglavlje kod nekih tvrdnji). Meni je u fokusu analitička usporedba nekih sveučilišta po znanstvenoj produktivnosti (Poglavlje 7), zapravo jedno od malobrojnih poglavlja u kojima postoji i nešto analitičko, nešto na čemu autor tobože podatkovno gradi svoje radikalne teze u preostalim poglavljima. Uz međusobnu usporedbu nekih hrvatskih, profesor nije odolio tome da nas usporedi i s nekoliko regionalnih sveučilišta.

U Tablici 1. (Poglavlje 7.) profesor je usporedbu nekih outputa pojedinih sveučilišta doveo u vezu s brojem nekakvih ljudi koji te outpute stvaraju, što je dobar pristup. No već u tom prvom stupcu, broju ljudi, postoje toliki problemi da svi ostali na temelju toga kasnije izračunati brojevi ne vrijede ništa. Prvi problem to što je u tablici naveden – broj  nastavnika. To je pogrešno jer znanstvene članke i ostale znanstvene outpute ne stvaraju nastavnici nego znanstvenici. Oni su jako često na sveučilištima ujedno i nastavnici (znanstveno-nastavna i suradnička radna mjesta), ali neki nastavnici nisu znanstvenici. I obrnuto – postoje na sveučilištima i znanstvenici koji nisu nastavnici, a udio tih čistih znanstvenika može se jako razlikovati među sveučilištima. Neka sveučilišta su gotovo posve znanstveno usmjerena (manje studenata i nastavnika, više znanstvenika), neka su pola-pola (nastava vs. znanost), a neka su više usmjerena na nastavu (puno studenata i nastavnika, a manje znanstvenika). Usporedba različitih tipova sveučilišta, s različitim udjelom fokusa na znanost ili različitim udjelom znanstvenih disciplina – u principu je besmislena. Baš kao i na tome stvarane „ljestvice“ i „rejtinzi“ (o tome sam pisao u prethodno spomenutoj knjizi i članku).

Profesor Marušić je previdio, vjerojatno zbog toga što je u mirovini, a njegovi ga chatbotovi nisu upozorili, da je ministar Fuchs svojom reformom na hrvatskim sveučilištima (pojednostavljeno) – zabranio čiste znanstvenike. U drugim državama veći, a ponekad i veliki udio zaposlenih na sveučilištu čine upravo čisti znanstvenici, oni koji nisu nastavnici i ne troše vrijeme i ostale resurse na studente. Čisto znanstvena radna mjesta znanstveni svetnik, znanstveni suradnik ili raziskovalec uobičajena su na fakultetima u Ljubljani, kao i naučni savetnik ili naučni suradnik u Beogradu. Osim toga, na hrvatskim sveučilištima nisu prisutni znanstveni instituti, dok su u drugim državama uobičajena stvar, pogotovo u Beogradu gdje ogroman broj članaka Beogradskog sveučilišta objavljuju čisti znanstvenici s čak 11 velikih i uglavnom STEM instituta (Institut Vinča, Institut za medicinska istraživanja, Institut za fiziku itd.). Samo Institut Vinča objavljuje više od 10 % svih članaka Beogradskog sveučilišta. Takva sveučilišta imaju znatno više mogućnosti (ljudi, vremena, prostora) za prijaviti i odraditi znanstveni projekt ili objaviti veći broj znanstvenih članaka nego naša sveučilišta na kojima ne postoje znanstveni instituti.

Samo Institut Vinča objavljuje više od 10 posto svih članaka Beogradskog sveučilišta.

Kakve brojeve su chatbotovi upisali u Tablicu 1. Poglavlja 7. Marušićeve knjige? Za Zagrebačko sveučilište upisano je 5714 „nastavnika“, za Ljubljansko 2937 „nastavnika“, a za Beogradsko 4500 „nastavnika“. Kad je prof. Marušić računao koliko je jedna osoba Sveučilišta u Zagrebu produktivna, onda je ukupni broj znanstvenih članaka ili projekata sveučilišta dijelio s 5714. Nejasno je koje je pitanje profesor postavio svojem chatbotu kad je tražio ove podatke, ali očigledno je da je riječ o velikom promašaju. Čvrsti izvori koji su javno dostupni na internetu, npr. službena izvješća tih triju sveučilišta ili službene državne statistike iz tih triju država, daju približno te brojeve isključivo za zaposlenike u kategorijama koje obuhvaćaju nastavu, s time da je za Zagreb i ovaj broj preuveličan. Nadalje, za sva tri sveučilišta od stvarnih brojeva „nastavnika“ treba oduzeti one koji se ne bave znanošću (čiste nastavnike). Laicima je najlakše to shvatiti na zamišljenom primjeru predavača njemačkog jezika ili tjelesnog odgoja na, recimo, nekom strojarskom fakultetu. Oni su stvarno nastavnici, ubrojani su u ukupni broj, ali se ne bave strojarskom znanošću i nema ih smisla brojati pri brojanju produktivnosti autora znanstvenih članaka iz strojarstva. Međutim, najveći problem tablice je to što se potpuno izvan obuhvata ovakvih „totalnih brojeva nastavnika“ nalaze osobe na čisto znanstvenim radnim mjestima, kao i poslijedoktorandi i osobe zaposlene na znanstvenim projektima – u Zagrebu 725 osoba, u Ljubljani 1506 tih znanstvenika, a u Beogradu sam zbrajanjem čistih znanstvenika samo s 11 instituta u sastavu sveučilišta izbrojao 2051 osobu. Kad pokušamo tako zbrajati stvarne znanstvenike koji stvaraju znanstvene članke, preostaje da još nekako u vagu dovedemo one koji se 100 % radnog vremena bave znanošću i one koji to rade 50 % vremena  (znanstveno-nastavna radna mjesta). Tako otprilike dobivamo broj FTE-znanstvenika na svakom sveučilištu. Ja sam na taj način korigirao[v] samo broj profesora i docenata, dok sam svim ostalim kategorijama (uključujući i sve asistente, neovisno bave li se nastavom) ostavio punu satnicu u znanosti.

Pa, kad bismo koristili moje brojeve zaposlenih, znanstvene članke u Zagrebu piše 3643 FTE znanstvenika svih kategorija, u Ljubljani je to 3393 FTE znanstvenika, a u Beogradu približno 4944 FTE znanstvenika. Ako se uzmu ti stvarni(ji) brojevi znanstvenika odnosno autora kao ljudskog inputa onda i sve proračunate vrijednosti u tablici postaju jako različite, a neki redoslijedi i zaključci se mijenjaju.

Tu nije kraj problemima s Marušićevom knjigom. Naime, i sam broj članaka Scopusa u drugom stupcu ove iste tablice također je dramatično netočan. Profesor Marušić je u Bilješci 1 vezanoj uz ovu tablicu naveo šokantna objašnjenja kako je dolazio do podataka. Vezano za broj članaka iz Scopusa tužno je što prof. Marušić piše: „Točni brojevi procijenjeni su iz sekundarnih izvora, jer je izravan pristup Scopusu pretplatnički.“ Profesor je mogao (morao?) zamoliti nekog od nas sa sveučilišta da mu iz Scopusa izvadimo stvarne podatke koje treba. Vrlo bih mu rado to učinio. Ovako, s nekakvim čudnim i nepotrebnim zaobilaznim „procjenama“ došli smo do toga da u tablici piše da je u 2023. godini Sveučilište u Zagrebu objavilo točno 9000 članaka, Ljubljansko točno 7000 članaka, a Beogradsko točno 9000 članaka. Nasuprot tome, za pola sata se u Scopusu mogu pogledati stvarni brojevi (s uračunatim svim indeksiranim institucijama sveučilišta) koji su znatno manji. Ako se uzme uži obuhvat pretrage Scopusa (isključivo članci uvršteni sa službenim imenom pojedinog sveučilišta) riječ je o ovim brojevima članaka za 2023. godinu: Zagreb-3905, Ljubljana-3607, Beograd-4745. Ako se pak ubroje i članci sveučilišta i zasebno navedenih institucija tog istog sveučilišta (npr. zasebno navedenih fakulteta i instituta), onda su konačni brojevi ovakvi: Zagreb-4597, Ljubljana-3869, Beograd-4907. Dakle, brojevi su gotovo dvostruko manji od brojeva na temelju kojih je autor stvarao tablicu i zaključke u knjizi.

Konačna usporedba vrijednosti iz knjige (plavo) i stvarni(ji)h[vi] vrijednosti (korigranih i za broj autora i za broj članaka) prikazana je na sljedećoj slici:

Stvarne proračunate vrijednosti (zeleni stupci na slici) na sva tri sveučilišta gotovo su dvostruko manje nego one navedene u knjizi (plavo), ali i vrijednosni sud koji se izvodi iz usporedbe tih proračunatih vrijednosti iz temelja se mijenja. Redoslijed s korigiranim brojevima ukazuje na veću stvarnu jediničnu produktivnost na Zagrebačkom sveučilištu u odnosu na Ljubljanu i Beograd. A to je obrnuto od onog što je u knjizi proračunato iz jako pogrešnih podataka koje su profesoru Marušiću prikupili chatbotovi, gdje je Zagreb pogrešno prikazan kao najlošiji. Shodno tome, iz pogrešnih je brojeva proizašao i promašen autorov (medijski širen) zaključak: „Podatci izloženi u ovoj knjizi pokazuju da hrvatska sveučilišta nisu dobra koliko bi trebala i mogla biti. To otkriva usporedba sa sveučilištima u Beogradu, Budimpešti i Ljubljani…“ Neispravne su i brojne druge autorove kritike našim sveučilištima i inzistiranja na većoj produktivnosti, koje je kao tvrdnje razasuo po cijeloj knjizi, a uvijek se pritom pozvao na te podatke iz poglavlja 7.

Želio sam samo na jednom primjeru, koji je i detalj koji i sam autor navodi kao najvažnji (str. 123), prikazati magnitudu moguće brojčane pogreške. Nije problem u netočnim ishodnim izvorima podataka iz kojih prepisuje ta „AI“, nego je problem što chatbot uopće i nema 100 postotnu potrebu prepisivati prave podatke s pravih mjesta. Besplatan chatbot možda nema uvid u Scopus i ne može ga otvoriti, a možda i ne zna da nije dovoljno samo prepisati broj članaka pribrojen pojmu University of Belgrade, već treba imati znanje da je i neki institut dio tog sveučilišta, a onda imati i iskustvo da dio članaka uvijek pobjegne jer autori nisu napisali afilijaciju kako treba. Ili možda moćna „inteligencija“ ne zna otvoriti PDF-datoteke s izvješćima Ljubljanskog, Zagrebačkog i Beogradskog sveučilišta ili agencije, ne zna čitati balkanske jezike, možda ni ćirilicu, ili ne razumije razlike među brojnim radnim mjestima na našim sveučilištima da bi pobrojila sve one koji stvaraju znanstvene članke na njima (a izdvojiti one koje ne treba uračunavati)? Ako je odgovor na nešto od toga potvrdan, da nešto što mi svi znamo chatbot jednostavno ne zna – koji je ishod? Chatbotovo prepisivanje s amaterske Wikipedije podatka da neko sveučilište ima X zaposlenih, a taj podatak je neke davne godine na tu Wikipediju netko pogrešno prepisao iz jednog dokumenta? Pustit ćemo besplatni chatbot da nas „informira“ onako kako ni slučajno ne smijemo dopustiti studentima ili – samima sebi?

Dobar primjer problema je detalj u Bilješci 1. sedmog poglavlja knjige – izvor koji prof. Marušić navodi kao (citiram:) „Broj znanstvenika (number of teachers)…“! Riječ „znanstvenik“ i riječ „teacher“ označavaju potpuno različite pojmove koje bi moćan AI alat kao i profesor morali moći razlikovati, baš kao što se razlikuje jabuka i kruška. Ovdje nije razlikovao, riječ znanstvenik preveo je kao teacher. Još je zanimljiviji primjer koji pokazuje koji izvor chatbot može navesti za neke svoje tvrdnje. Naime, u Bilješci 1. piše: „broj registriranih znanstvenika preuzet je iz Statnano (statnano.com)…“ U ovom slučaju se vjerojatno misli na ukupni broj znanstvenika država.  Zanimljivo je da ovdje chatbot piše samo o znanstvenicima (ne spominje teachere), ali najčudniji detalj je taj izvor sam po sebi. Iako sam se bavio ovom tematikom – nikad prije nisam čuo za taj izvor. Kad sam ga sad probao pregledati ostao sam začuđen tim nečim za što još nisam siguran što je. Riječ je o internetskoj stranici s takvim imenom, a najvjerojatnije i nekakvoj tvrtki (iako nisam siguran). Ona se navodno bavi nanotehnologijom (!) i navodno pruža nekakve takve usluge, nije mi jasno kakve. Ne postoji nikakav vjerodostojan impressum i s kakvim imenima ili adresom koji stoje iza te internetske stranice pa sve izgleda dosta sumnjivo[vii]. Nije isključeno da je riječ o nekakvoj lažnoj stranici, a čini se da bi iza nje mogao stajati netko iz Irana. Ne znam gdje se na toj internetskoj stranici koja se navodno bavi nanotehnologijom mogu naći podatci o broju znanstvenika pojedinih država, pa nije jasno kako je moguće da je baš to izvor korišten za skupljanje podataka korištenih za izračune u ovoj knjizi. Tražiti brojeve svih znanstvenika pojedinih država na internetskoj stranici tvrtke koja pruža nekakve usluge vezane uz nanotehnologiju čini mi se sličnim traženju nota za uvertiru predstojeće operne predstave u HNK-u u statutu nogometnog kluba Dinamo. Ne kažem da se tamo možda to ne može pronaći, ali ne shvaćam zašto bi itko prvo tamo tražio te podatke, a ne u nekom primarnom ili bar čvrstom izvoru.

• Moj mali eksperiment

Pišući ovaj tekst, ispitao sam znanje i trud jednog od korištenih chatbotova baš o brojevima iz tablice u knjizi. Tražio sam da mi pronađe broj znanstvenika odnosno svih vrsta autora znanstvenih članaka koji rade na Sveučilištu u Zagrebu. Ni nakon nekoliko krugova rasprave s tim chatbotom, ni nakon usmjerujućih potpitanja, nije mi uspio navesti ništa bolje od širih tekstova s, u prvom krugu, dosta beskorisnih informacija – onih koje nisam tražio, npr. o Stanfordskoj listi ili PMF-u. Za ono što me jedino zanimalo i što sam jedino pitao dao mi je samo nekakve vrlo okvirne brojeve. Prvo sam dobio (citiram i ukošavam) “procjene idu na nekoliko tisuća (vjerojatno 4000 – 7000) nastavnog osoblja ukupno preko svih sastavnica”, a za znanstvenike da ih ima “nekoliko tisuća (vjerojatno 3000 – 5000+)”. Nakon mojeg prvog potpitanja uslijedilo je “procjene za SZU su oko 10 000–12 000 nastavnika i suradnika ukupno (uključujući honorarne)”, a nakon drugog potpitanja “procjenjuje se oko 8000 – 10 000 nastavnika i suradnika” odnosno„ za „znanstvenikeˮ (istraživači s doktoratom, profesori, docenti, asistenti koji aktivno rade istraživanja): broj je vjerojatno oko 3000 – 4500“. Zanimljiviji detalj u tome svemu je to što mi je u nekoliko navrata naveo da se do podataka ne može doći jer nisu objavljeni.

Citiram chatbotove izjave: “Precizan ukupan broj nije uvijek javno objavljen u jednom broju za cijelo sveučilište”, zatim u istom odgovoru (!): “Točan broj možeš pronaći u najnovijim godišnjim izvještajima Sveučilišta u Zagrebu”, pa nakon još jednog mojeg nagovaranja: “Nažalost, Sveučilište u Zagrebu ne objavljuje jedinstveno centralizirano godišnje izvješće o radu za cijelo sveučilište s točnim zbrojem zaposlenika/znanstvenika” i “Za točan broj preporučujem kontaktirati Rektorat SZ”. Nakon sljedećeg potpitanja za konkretnu godinu chatbotov odgovor bio je: “Pronašao sam relevantne službene podatke za akademsku godinu 2020./2021. iz izvora Državnog zavoda za statistiku (DZS) i izvješća Sveučilišta u Zagrebu. U tablicama o zaposlenicima po zvanjima (npr. tablica 1.1. „Zaposlenici prema zvanjuˮ) spominje se struktura znanstveno-nastavnih, nastavnih i suradničkih zvanja, a ukupni broj zaposlenika na sastavnicama je u rasponu nekoliko tisuća nastavnog osoblja. Za ‘znanstvenike’ (istraživači s doktoratom, profesori, docenti, asistenti koji aktivno rade istraživanja): broj je vjerojatno oko 3000 – 4500.”

Kad sam u zadnjem krugu zatražio da iz te konkretne tablice izvješća SZU koju je prethodno „pronašao” (koju sam mu zapravo ja pronašao) ipak zbroji sve brojeve zaposlenika za koje smatra da su znanstvenici, dobio sam odgovor „ukupno oko 3800 – 4000 osoba”. Tek kad sam baš precizno pitao ima li još netko na sveučilištu tko nije naveden u tablici sjetio se zaposlenih na projektima i vanjskih suradnika.

Što govori ovo moje malo iskustvo sa spomenutim chatanjem oko broja znanstvenika na Sveučilištu u Zagrebu? Govori da chatbot samostalno ne troši vrijeme na dublje istraživanje, te u prvom krugu ponudi neki okvirni odnosno opći i neprecizni, ali izgledom i sadržajem korektan odgovor (koji možda zadovolji 99 % korisnika i ne pitaju dalje). Drugi zaključak je da tek nakon dulje „rasprave” i mojeg preciznog navođenja chatbot pristane malo dublje razraditi ono na što ga ciljano upućujem. Međutim, za to mi kao korisnici moramo unaprijed već znati i izvor i odgovor, pa se postavlja pitanje smisla takve pomoći koju tražimo od chatbota. Konkretno, morao sam ga uputiti na točno određenu godinu (nakon čega je chatbot priznao da ipak postoji javno dostupno izvješće), a u sljedećem krugu mu precizirati da u tom izvješću proračuna brojeve u konkretnoj tablici na koju ga upućujem. Tu postoje dva problema. Jedan je što ja to sve već unaprijed moram pronaći samostalno, pa nema većeg smisla da onda njemu dajem da mi proračuna brojeve, to mogu i sam. Drugi problem je to što ni nakon svega toga on nije precizno zbrojio brojeve iz tablice i napisao neki čvrsti broj, nego se ponovno ogradio okvirnim rasponom („ukupno oko 3800 – 4000 osoba”). Precizni broj moram ja sam proračunati.

Treći zaključak je da je u stanju iznijeti istinu/neistinu da do nekih podataka ne može doći jer ih navodno neki drugi subjekti ne navode. Takve izjave upućuju na problem koji neki ljudi imaju s razlikovanjem pojma jezičnog alata od pojma umjetna inteligencija. Chatbot i umjetna inteligencija nisu sinonimi, čak ni u smislu „Chatbot je umjetna inteligencija za siromašne”. Chatbot kao jezični alat zapravo nije lagao kad je utvrdio da ne postoji javni internetski dokument u kojem piše rečenica „na sveučilištu radi 4728 osoba koje se bave znanošću” koju bi on mogao jednostavno jezično prepisati. Međutim, postoje dokumenti u kojima su različite kategorije zaposlenika navedene u tablicama pa se do ukupnog broja treba doći pregledom tablica i računanjem. Neistina je da javni podatci baš ne postoje, može ih se iskopati, ali tu nije dovoljno samo prepisivanje. Treba znati i analizirati. Mi (ljudi) koji se bavimo ovom temom to možemo i to najnormalnije radimo. To bi se očekivalo i od umjetne inteligencije – da unaprijed zna koje su to kategorije zaposlenika, što koja radi, koje su iznimke, što možda treba izbaciti, a što ubaciti u izračun i kako iz javno dostupnih brojeva kompilirati konačan zbroj. Vjerujem da umjetna inteligencija koja bi to radila postoji, ali besplatni chatbotovi nisu umjetna inteligencija u tom smislu. S ovim upornim ograđivanjem i davanjem nekakvih okvirnih raspona podataka chatbot je zapravo vrlo fer i implicite poručuje da precizne podatke trebamo ipak potražiti sami. Poručuje nam da on nije ono što bismo mi htjeli da jest.

• Bilješke

[i] https://tripalo.hr/wp-content/uploads/2023/05/Mjerenje-hrvatske-znanosti-Damir-Stanzer_final-final_.pdf

[ii] https://www.akademski.hr/kako-metodologija-pojedinih-rangiranja-sveucilista-utjece-na-nasu-poziciju-na-njima/

[iii] Engleski akronim AI (artificial intelligence) koristim ovdje umjesto hrvatskog UI (umjetna inteligencija) zbog opće raširenosti.

[iv] Riječ je o najvećim sveučilištima u tri glavna grada, ujedno i najvećim sveučilištima u te tri države. U nekim parametrima svako od tih sveučilišta čini i preko 50% kompletnog sustava u matičnoj državi. U tekstu umjesto službenih imena za ta tri sveučilišta (Sveučilište u Zagrebu, Univerza v Ljubljani i Univerzitet u Beogradu) radi pojednostavljenja koristim hrvatski pojam sveučilište, s pripadajućim posvojnim pridjevom pisanim velikim početnim slovom (Zagrebačko sveučilište, Ljubljansko sveučilište, Beogradsko sveučilište).

[v] FTE (Full-time equivalent) je uobičajena moneta za računanje broja zaposlenika u ovakvim proračunima ulaza i izlaza na institucijama različitog tipa, kao i njihove međusobne usporedbe. Za ovakve izračune kakvi su u knjizi nema smisla brojati „osobe“, nego baš treba uspoređivati FTE-e. U principu je riječ o tome da se nekako nađe približno poštena usporedba produktivnosti osobe koja ima 100 % vremena za stvoriti neki output (članak, projekt i sl), i one koja za to ima samo oko 50 % radnog vremena jer drugu polovicu vremena troši na nastavu i studente. Međutim, meni koji imam iskustva s oba zanimanja (i znanstveno-nastavnim na Fakultetu i čisto znanstvenim na Institutu) zapravo znatno veću ulogu u tom razdvajanju imaju prostor i oprema kao resursi, odnosno vrijeme zauzeća istih. Dok se za osobne FTE-e doprinose profesora u znanosti i nastavi može razgovarati o natezanju radnog vremena na jednu i drugu stranu, pa netko može reći da za znanost nekim profesorima ostaje manje ili više od 50 % radnog vremena, s prostorom i opremom na fakultetima odnosno sveučilištima koja nemaju institute nedostatak slobodnih resursa nateže na manje od 50 % znanstvenog potencijala. Na fakultetu profesor možda ponekad i ima vremena za znanost, ali nema slobodan laboratorij i uređaj na kojem bi se ona obavljala (jer su resursi zauzeti sa studentima i nastavom nekih drugih profesora). Na STEM-fakultetima i sveučilištima koja nemaju institute često je nemoguć kontinuirani znanstveni rad.

[vi] Pojmovi „stvarnog“ ili „točnog“ kod ovakvih izračuna prilično su problematični. Ono što možemo je probati racionalno doći do nekih logičnih obuhvata podataka, stvarnih vrijednosti, kao i najsmislenijeg mogućeg načina njihovog križanja u nekakve proračune outputa. I u ovom mojem proračunu, koji je znatno smisleniji od onog u knjizi, naprosto zato što se temelji na stvarnijim brojevima onog što je odabrano za usporedbu, postoje faktori koji nisu uračunati, odnosno obuhvat podataka koje je arbitrarno određen s moje strane. Na strani inputa, ovdje su uračunati samo osnovni zaposlenici sveučilišta (s uračunatim zaposlenicima na projektima). Ono što je ostalo izvan toga jesu dio doktorskih studenata i dio vanjskih suradnika. To su dvije kategorije ljudi koje u nekoj mjeri doprinose znanstvenom outputu sveučilišta, ali je njihov broj i doprinos znanosti praktički nemoguće procijeniti bez da se ide analizirati baš svaki konkretan slučaj, od osobe do osobe. Ukupni brojevi doktoranada ne znače ništa, jer dio doktoranada uopće nije ni došao do znanstvenog dijela rada (neki su samo upisali doktorat i svojom vlastitom odlukom više ne rade ništa, a neki još nisu prošli ni predavanja i ispite). Možda bi se mogao uvrstiti samo broj onih koji su u konkretnoj godini doktorirali jer je za njih sigurno da su radili znanstveni rad (disertaciju). Međutim, tu postoji veliko preklapanje brojeva jer su znanstveno najaktivniji doktorandi za ovakva velika sveučilišta oni koji su već zaposleni na tom istom sveučilištu (asistenti), pa su već prethodno uračunati u broj znanstvenika sveučilišta i ne treba ih brojati dvaput. S vanjskim suradnicima je problem što je većina (bar kod nas) samo nastavno usmjerena, a za ovakva velika sveučilišta dobar dio njih su zapravo „unutrašnji-vanjski“ suradnici – broje se nekom fakultetu kao „vanjski“, iako su zaposleni na nekom  drugom fakultetu istog sveučilišta. Pukim zbrajanjem svih brojeva na sveučilištu s ukupno 7 tisuća zaposlenih došli bismo na taj način do preko 10 tisuća fiktivnih „različitih ljudi“, što nema smisla i ne daje točan broj. Vanjski suradnici možda više utječu na mala sveučilišta u tablici, popravljaju im rezultat, ali ona nisu predmet ovog razmatranja triju najvećih sveučilišta svake države. Na strani outputa u ovom slučaju kod ukupnog broja članaka Sveučilišta nisam uračunavao one članke iz Scopusa koji imaju afilijaciju samo sa (zdravstvenih) klinika. To su članci koje de facto pišu profesori medicinskih fakulteta sveučilišta, ali administrativnom namjerom ili pogreškom na radu nisu naveli da su ujedno i zaposlenici sveučilišta. Nisam to naveo jer je moguće da su na klinikama zaposleni profesori s više medicinskih fakulteta odnosno sveučilišta, pa je bez točkastog prebrojavanja od osobe do osobe nemoguće to razvrstati. Međutim, pogled na Scopus ukazuje da je problem možda i najizraženiji (bio) upravo u Zagrebu i da bi uvrštavanjem baš svih članaka svih klinika za promatrana tri sveučilišta rezultat zagrebačkog bio još bolji od zeleno prikazanog  na slici.

[vii] https://statnano.com/aboutus