Stručnjaci u predviđanju imaju neznatno bolji rezultat od slučajnog pogađanja, 50-55 posto. Neki su i lošiji. Koji?

Nakon što se stručnjake suoči s (ne)točnošću njihovih prognoza, vjerovat će kako su "zamalo pogodili" i tvrditi da su ishod predvidjeli s većim stupnjem vjerojatnosti nego što zaista jesu. Kada bi bili u pravu, točnost prognoze bi objašnjavali svojim dubokim razumijevanjem teme, dok bi u slučaju pogrešne prognoze vrlo rijetko priznali duboko nerazumijevanje

• Dr. sc. Andrijana Mušura Gabor na Zagrebačkoj školi ekonomije i managementa predaje bihevioralnu ekonomiju

Jedna je od najzabavnijih društvenih aktivnosti komentirati i razmišljati o ponašanju i ličnosti drugih ljudi. Ultimativno pitanje “zašto” se netko ponaša tako kako se ponaša te kako će njegovo ili njezino ponašanje završiti, daju živost svakodnevnoj konverzaciji. Jesmo li u tome točni ili ne, teško je znati zbog pristrane prirode naših razmišljanja o socijalnom svijetu. Nije da ne možemo zastati i razmisliti o točnosti vlastitih zaključaka, no najčešće nemamo vremena ili volje revidirati naše dojmove i mišljenja o drugima te se prepuštamo intuitivnom naklapanju o poznanicima, kolegama, susjedima…

Diletanti i stručnjaci

Kada spektar proširimo na političke, društvene ili ekonomske teme, primijetit ćemo kako velika većina ljudi ima mišljenja o velikom broju tema i ne libi se razbacivati se preporukama i prognozama. Poneki diletanti čak u tome djeluju i vrlo uvjerljivo i vjerodostojno.  No, ostavimo strasti diletantima. Važno je pitanje koliko su osobe koje smatramo stručnjacima doista stručne i vjerodostojne? Pri tome mislimo na stručnjake kao što su analitičari, komentatori pojedinih tema, stručnjaci na televiziji, raznorazni politički i ekonomski savjetnici te, zapravo, svi oni koji iz pozicije svoga znanja i uloge iznose procjene o budućnosti.

Pravila tu nisu ista za sve. Ukoliko prosječan hrvatski zaposlenik opasno pogriješi u stručnoj procjeni na svom radnom mjestu, što bi se dogodilo? Ako pri tome bude iznimno kreativan u smišljanju racionalizacija za svoj neuspjeh, u naknadnom mijenjanju toga “što je zapravo mislio” i uvjeravanju kako je bio skoro u pravu te da je potrebno pričekati da se njegova prognoza obistini, što će se dogoditi? Predvidljiva mentalna vježbica, nije li?

Kada su u krivu, često ih se ne drži odgovornima. A kada su suočeni sa pogrešnom procjenom, neće priznati kako su bili u krivu. Manje su točni od algoritamskih procjena. Imaju pretjerano samopouzdanje u vlastite procjene, te što su cjenjeniji u vidu medijske eksponiranosti i citiranosti, to je vjerojatnije da su im prognoze manje pouzdane.

U prošlom smo članku zaključili kako bi bila dobra ideja testirati kandidate za najodgovornije društvene pozicije na crte ličnosti kao što su psihopatija ili makijavelizam. Čisto kako se ne bi doveli u situaciju da nam kvalitetu života i rada određuju, nedajbože, psihopatske ličnosti. U ovom ćemo se članku pozabaviti drugom idejom – testiranjem stručnosti stručnjaka. I to onih političkih i ekonomskih. Svi volimo stručnjake. Čak i kada nisu u pravu, strast i karizma sa kojom nas uvjeravaju i ulijevaju sigurnost, doista može biti čarobna. Ipak, bolno je pitanje koliko su točne prognoze stručnjaka, kako se to provjerava te koliko su stručnjaci spremni prihvatiti vlastite netočne prognoze?

Philip Tetlock

Pristranosti u vlastitu korist

Prošlo je više od 15 godina od kada je politički znanstvenik Philip Tetlock napisao knjigu Expert political judgment: How good is it? How can we know? (op.a. Stručna politička procjena: Koliko je dobra? Kako to možemo znati?). Ono što je u njoj napisao, nije iznenadilo psihologe i ostale koji se bave izučavanjem ljudske spoznaje i ponašanja, no vjerojatno će iznenaditi sve ostale. U svojim brojnim i iznimno zanimljivim istraživanja, najčešće longitudinalnima (budući da je testirao točnost stručnih predviđanja), najčešće bi političke i ekonomske stručnjake ispitivao o smjeru ishoda budućih događaja (u domeni stručnosti i izvan), te, nakon što bi prošlo dovoljno vremena, provjeravao točnost predviđanja i reakcije istih stručnjaka na ishode.

U prosjeku su uspješni u 50-55% slučajeva (nešto više od slučajnog pogađanja), a uvjereni u 70-75% točnosti; oni koji su davali procjene pouzdanosti 80% i više, točni bi bili u samo 45% slučajeva. Nakon što ih se suoči sa (ne)točnošću njihovih prognoza, podleći će pristranosti i vjerovati kako su “zamalo pogodili”.

Za svaku su procjenu stručnjaci morali dati mišljenje hoće li biti više nečega, manje ili isto te subjektivnu procjenu vjerojatnosti tog događaja. Teme bi uključivale procjene ekonomskih pokazatelja, prioritete javne politike, potrošnje za određene aktivnosti, promjene u vodstvu organizacija ili država, granične konflikte i sl. Predviđate zaključak? Stručnjaci nisu ništa uspješniji u svojim prognozama od čimpanzi prosječnih građana koji prate vijesti. Kada su u krivu, često ih se ne drži odgovornima. A kada su suočeni sa pogrešnom procjenom, neće priznati kako su bili u krivu. Manje su točni od algoritamskih procjena. Imaju pretjerano samopouzdanje u vlastite procjene, te što su cjenjeniji u vidu medijske eksponiranosti i citiranosti, to je vjerojatnije da su im prognoze manje pouzdane.

U prosjeku su točni u 50-55% slučajeva (nešto više od slučajnog pogađanja), a uvjereni u 70-75% točnosti; oni koji su davali procjene pouzdanosti 80% i više, točni bi bili u samo 45% slučajeva. Nakon što ih se suoči sa (ne)točnošću njihovih prognoza, školski će podleći pristranosti prema potvrđivanju i pristranosti pogleda unatrag – informacije koje su suprotne njihovim teorijama će detaljno analizirati i osporavati, te će tvrditi kako su zapravo predvidjeli ishod sa većim stupnjem sigurnosti nego što zapravo jesu i vjerovati kako su “zamalo pogodili”. Kada bi bili u pravu, točnost prognoze bi objašnjavali svojim dubokim razumijevanjem teme, dok bi vrlo rijetko priznali duboko nerazumijevanje teme u slučaju pogrešne prognoze, štoviše, nerijetko bi postali defenzivni – atribucije u vlastitu korist.

Lisice i ježevi

U redu, stvari nisu baš tako crne kako se možda moglo zaključiti iz prethodnih činjenica.  Postoji razlika između skupina stručnjaka prognostičara. Ipak su neki stručnjaci bolji u svojim procjenama od drugih, dok se prognoze razlikuju s obzirom na stabilnost okruženja u kojima se odvijaju. Pa tako Tetlock predlaže lisice i ježeve[1]. Lisice su najbolji “prognozeri“. Svoje procjene zasnivaju na mnogo informacija iz različitih područja, vole ironiju i nisu zaljubljeni u svoje ideje. Iako imaju jaka uvjerenja, mogu uzeti odmak od svojih procjena i intuitivnih impulsa te ih u svrhu točnosti revidirati. Politički se teško klasificiraju, više su eklektične te svijet vide kao mrežu zamršenih i kompliciranih socijalnih međudjelovanja. Analitične će lisice biti mnogo bolji procjenitelji u relativno stabilnim okruženjima. Po pitanju ličnosti i kognitivnog stila, karakterizira ih otvorenost iskustvu i veći stupanj potrebe za spoznajom te veći stupanj kognitivne refleksije (test kognitivne refleksije riješite u kućici ispod). Ukoliko niste skloni master teorijama i imate visok rezultat na testu kognitivne refleksije, dijelite osobine sa najboljim prognozerima iz Tetlockovih istraživanja.

Odgovorite na slijedeća pitanja:

1.       Palica i lopta koštaju 110 kuna ukupno. Palica košta 100 kuna više nego lopta. Koliko lopta košta? …………….. kuna.

2.       Ako je potrebno 5 strojeva da u 5 minuta naprave 5 privjesaka, koliko bi trajalo kada bi 100 strojeva napravilo 100 privjesaka? ……………… minuta.

3.       U jezeru postoji skupina listova ljiljana. Svaki dan, skupina ljiljana se udvostruči. Ako je potrebno 48 dana za ljiljani pokriju cijelo jezero, koliko dugo je potrebno da skupina ljiljana prekrije pola jezera? …………….. dana.

(Test ima 3 boda. Za svaki točan odgovor po bod. Test kognitivne refleksije mjeri brzinu intuitivnog mišljenja te mogućnost nadilaženja odgovora koji se intuitivno nameće. Točni odgovori: 1) Pet kuna. 2) Pet minuta. 3) Četrdeset sedam dana (Ili samo jedan dan manje). Više o testu ovdje. 

S druge strane, ježevi vjeruju u jednu veliku ideju. U tu su ideju strastveno zaljubljeni. Vole velike parsimonične teorije iz kojih proizlaze i njihove procjene budućnosti. Upravo su stoga, što se vode velikim organizirajućim principima, lošiji “prognozeri“. Od njih su skoro bolje čimpanze, a daleko bolji algoritamski modeli. S druge strane, zanimljivo je istaknuti kako će, ukoliko nisu ekstremni u svojoj ideologiji, točnije procjene (uz više lažnih alarma) davati za neočekivane događaje. Npr. Uglavnom su zastupljeni među predviđateljima propasti Sovjetskog saveza, velikog rasta kineske ekonomije i porasti islamskog terorizma.

Kada bi se napravila analiza javnog i medijskog prostora u Hrvatskoj, udio ježeva u odnosu na lisice te naklonost od strane javnosti, bili bi značajno veći. To nije hrvatski fenomen. Dok lisice dosadnjikavo objašnjavaju i procjenjuju situaciju sa više različitih aspekata, ježevi su seksi. I to ih čini medijski privlačnima. Zamislite tek dva ježa koja se ne slažu! Potpuni medijski orgazam.

Skloniji su ekstremnim političkim ideologijama neovisno o tome na kojoj strani spektra. Za razliku od lisica, ježevi su imali lošiji učinak u području u kojemu su stručni. Dvadeset posto ishoda za koje su ježevi rekli kako su nemogući ili gotovo nemogući, dogodili su se (za razliku od 10% u slučaju lisica). Više od 30% ishoda za koje su ježevi vjerovali da su sigurni i gotovo sigurni (vs 20% kod lisica), nisu se dogodili. Iako su ježevi loši prognozeri i teško priznaju vlastite pogreške, u nekim je situacijama bolje biti jež. Tetlock im priznaje posebne kvalitete kao što su držanje čvrstih pregovaračkih pozicija i zaštita od eksploatacije suparnika, spremnost na preuzimanje odgovornosti u slučaju kontroverznih  odluka, otpor na distrakcije u nepovoljnim okruženjima i sl. Veliki su znanstvenici često ježevi.

Kada bi se napravila objektivna analiza javnog i medijskog prostora u Hrvatskoj, udio ježeva u odnosu na lisice te naklonost od strane javnosti, bili bi značajno veći. To nije hrvatski fenomen. To je fenomen koji proizlazi iz privlačnosti ježeva kroz njihovu odlučnost, samouvjerenost i hrabrost, dojam karizme i brojne argumente kojima potkrepljuju svoje velike ideje. Dok lisice dosadnjikavo objašnjavaju i procjenjuju situaciju sa više različitih aspekata, ježevi su seksi. I to ih čini medijski privlačnima. Zamislite tek dva ježa koja se ne slažu! Potpuni medijski orgazam.

U recentnijem radu, Tetlock je u suradnji sa američkom Vladom pokrenuo Good Judgment Project (op.a. Projekt dobre procjene), u trajanju od 2011-2015, gdje je ispitao par tisuća stručnjaka i analizirao desetke tisuća prognoza budućih geopolitičkih događaja, koristeći 500-tinjak pitanja koja su osmišljena od strane američke obavještajne zajednice. Projektu se slobodno može priključiti i sudjelovati u predviđanjima. Predviđam sa 90% sigurnošću da će 70% čitatelja uživati u Tetlockovim istraživanjima i projektu.

Kako naučiti davati točne procjene?

Mora se priznati kako su određena okruženja iznimno teška za predviđanje i vježbanje kalibracije. U jako zanimljivom radu, Kahneman i Klein (prvotno oprečnih mišljenja po pitanju točnosti intuitivnih procjena), pronašli su uvjete u kojima su intuitivne procjene jednako točne kao i svjesno promišljene procjene – okruženja sa predvidljivim pravilnostima po pitanju ishoda određenih aktivnosti ili ponašanja te u kojima povratna informacija nakon nekog djelovanja dolazi odmah. Takva su okruženja kod npr. igranja šaha, vatrogasnih priprema i situacije požara i sl. Okruženja kao što su tržište kapitala ili politička arena, vrlo su neizvjesna, bez predvidljivih pravilnosti, iznimno umrežena i zamršena te bez nužnih mehanizama povratnog učenja. Postavlja se pitanje kako naučiti davati točne procjene budućih ishoda?

 

Daniel Kahneman i Gary Klein

Iako se čini nemogućim za implementaciju, baš kao i upitnik ličnosti za političke kandidate, jedna od čvrstih preporuka koje bi dovele do veće točnosti procjena, veće povratne informacije i, samim time, veće refleksije i odgovornosti, korištenje je krutih izraza za procjene vjerojatnosti ishoda Npr. umjesto predviđanja kao što su “moglo bi se dogoditi” i “vjerojatno će doći”, bilo bi poželjno uokviriti procjenu budućnosti točno određenom subjektivnom vjerojatnošću i vremenskim periodom. Na primjer, umjesto procjene “Vjerojatno neće doći do kraha Agrokora“, bilo bi poželjno navesti kolika je ta vjerojatnost i u kojem će se vremenskom periodu dogoditi a ako je moguće i još detalja. Na ovaj se način daje mogućnost objektivne i povratne provjere točnosti prognoze.

Ne smije nam biti “dosta stručnjaka” već sustava u kojemu stručnost ne podliježe nikakvom sustavu kontrole, niti se znanje i (povratno) učenje, zapravo, ne cijene do kraja. Ali, isto tako, potrebno je i odrediti granice znanja, stručnosti i mogućnosti predviđanja.

Upravo zbog elastičnih “vjerojatno” i “možda”, stručnjake je teško držati odgovornima za ono što govore. Nadalje, subjektivne vjerojatnosti i njihova usporedba sa objektivnim ishodima pomaže samim stručnjacima ocijeniti vlastitu kalibriranost i domenu vlastite stručnosti. U zapadnjačkim medijima nerijetko se može naići na tekst pod nazivom Pundit accountability audit (op.a. Revizija odgovornosti stručnjaka) u kojima reporteri i prognostičari retrospektivno (zadnjih 12 mjeseci) navode sve instance kada su donijeli netočne prognoze. Ponavljamo. Novinari ili kolumnisti analitičari za određene teme su sami, (nadajmo se) bez prisile, napisali tekst u kojemu navode gdje su pogriješili. Javno. Crno na bijelom. Trend je, navodno, započeo 2010. novinar Washington Posta. Nerijetko, pogotovo nakon zadnjih predsjedničkih izbora, američki novinari preuzimaju odgovornost za vlastito “stručnjaštvo”. Imamo li toga u Hrvatskoj?

Koliko vrijedi kila stručnjaka?

Priznati pogrešku, pogotovo javno, teško je i bolno. Tek je prijeteće objektivno pratiti točnost onoga što se predviđa. Prirodno ćemo tražiti načina da pogrešku ublažimo i u mentalnoj retrospektivi nešto promijenimo. Pristranosti stručnjaka su iste one koje se redovno nalaze u razmišljanjima svih nas. Jedina je razlika između nas i “nas” u tome što se nečije razmišljanje o budućnosti plaća, dok se ostali samo dobro zabavljaju. U ekonomiji znanja i budućnosti temeljenoj na specijalizaciji znanja, činjenica da su oni sa najviše znanja u svojim prognozama često nepouzdani, može biti uznemirujuća.

Zato je nužno podići ljestvicu po pitanju preuzimanja odgovornosti osoba kojima se daje javni prostor za izricanje procjena budućih događaja. Ne smije nam biti “dosta stručnjaka” već sustava u kojemu stručnost ne podliježe nikakvom sustavu kontrole, niti se znanje i (povratno) učenje, zapravo, ne cijene do kraja. Status stručnosti baziran na podacima možda je rješenje. Ali, isto tako, potrebno je i odrediti granice znanja, stručnosti i mogućnosti predviđanja. Svijet je, da zaključimo u lisičjem stilu, iznimno složen i neizvjestan. Čak i najbolje lisice nisu baš tako dobre. S druge, ježeve strane, taj isti svijet iza sebe ostavlja more podataka, među kojima se mogu uočiti obrasci njegova djelovanja koji mogu poslužiti kao jedinstven korektivni faktor.

[1] Znatiželjni koji se žele informativno testirati i saznati jesu li lukavi ili bodljikavi, na blogu se nalazi prihvatljiv prijedlog