Problem indukcije i Simpsonov paradoks. Istina skrivena u sub-populacijama

Intuitivno očekujemo da će svojstvo koje vrijedi za neke dvije sub-populacije vrijediti i za ukupnu populaciju koju one sačinjavaju, no to ne mora nužno biti tako, piše Zvonimir Šikić u osmom nastavku serijala o vjerojatnosti. Ljudska je prednost pred umjetnom inteligencijom što u nedostatku informacija praznine popunjavamo najjednostavnijim pretpostavkama, no u nekim slučajevima one mogu dovesti do pogrešnih zaključaka.

• Naslovna fotografija: Edward Simpson, britanski statističar i kriptoanalitičar.

• Prethodni članci: Algoritamske definicije slučajnosti. Nepredvidivost, tipičnost i nekompresibilnost beskonačnih nizova, Proširena logika vjerojatnosti. Počeci i suvremeni kontekst, Očekivanje u vjerojatnosti. Petrogradski paradoks i problem dvije omotnice, Kako je manje ispravna metoda zamijenila puno ispravniju. Laplace vs. Fisher, Klasična vjerojatnost i primjeri povijesnog razvoja, Vjerojatnost kao frekvencija, Vjerojatnost kao stupanj plauzibilnosti. Matematički temelji bejesovske teorije

• Problem indukcije

Hume

Godine 1739. škotski filozof David Hume objavio je A Treatise of Human Nature, jednu od najutjecajnijih knjiga zapadne filozofije. Tada mu je bilo dvadeset i osam godina. Knjiga sadrži klasičnu formulaciju problema indukcije. Radi se o skepsi spram tvrdnje da iz onoga što znamo sada nešto možemo zaključiti o budućnosti, jer je budućnost slična prošlosti. Jednostavna formulacija  Humeovog problema indukcije mogla bi biti:

Kako znamo da će budućnost biti poput prošlosti?

Jedan je odgovor da sadašnja stanja uzrokuju buduće događaje, što ih čini sličnima svojem uzroku. No, Hume je skeptik i u pogledu same ideje uzroka. Odakle nam ideja uzroka? Imamo li možda urođeni osjećaj za uzročnost? Hume u kratkom prikazu svoje knjige zamišlja čovjeka koji promatra sudare dvaju biljarskih kugli:

“ [Nakon što bi se] susreo se s dovoljnim brojem primjera ove vrste, čim bi vidio da se jedna kugla kreće prema drugoj, uvijek bi bez oklijevanja zaključio da će se i druga pokrenuti. Njegovo bi razumijevanje predvidjelo ono što će vidjeti i stvorilo bi zaključak prikladan njegovom iskustvu. Slijedi, dakle, da su sva razmišljanja o uzroku i posljedici utemeljena na iskustvu, te da su sva razmišljanja iz iskustva utemeljena na pretpostavci da će se tok prirode uniformno nastaviti. Zaključujemo da će slični uzroci, u sličnim okolnostima, uvijek proizvoditi iste posljedice. … [Dedukcijom se ne može dokazati] da se tok prirode mora uniformno nastaviti i da budućnost mora biti poput prošlosti. … Ova usklađenost je činjenica, i ako se mora dokazati, ona ne dopušta nikakav dokaz osim iskustva. Ali naše iskustvo u prošlosti ne može biti dokaz ničemu u budućnosti, osim pod pretpostavkom da među njima postoji sličnost. Ovo je, dakle, točka koja ne dopušta nikakav dokaz, i koju uzimamo zdravo za gotovo bez ikakvog dokaza.”

Svatko tko pokušava tvrditi da će budućnost biti poput prošlosti, na temelju toga da su prošle budućnosti bile poput prošlih prošlosti, rezonira cirkularno. Dakle, zašto očekujemo da će budućnost biti poput prošlosti? Jer smo takvi, jer imamo induktivne navike. Razum ih ne može opravdati, jer se on sam temelji na navikama i običajima. Humeov je zaključak da mi zaključujemo induktivno po običaju i navici, možda čak po nekoj vrste psihološke nužde, po našem “hard-wiring“. Mi očekujemo da će budućnost biti poput prošlosti, iako za to nemamo opravdanja. To je naprosto ono što mi radimo.

Hume je mislio da vjerojatnost ne može pomoći u rješavanju problema indukcije. Ne možemo, napisao je, “čak ni nekim vjerojatnim argumentima dokazati da budućnost mora biti u skladu s prošlošću“.

Popper

Prije nego pokažemo da s vjerojatnošću možemo učiniti mnogo više nego što je to Hume mislio, okrenimo se Karlu Popperu koji smatra da je Hume u pravu, ali ipak samouvjereno zaključuje: “Mislim da sam riješio važan filozofski problem, problem indukcije.” Popper, kao i Hume, misli da nema opravdanja induktivnih zaključaka, ali i da to nije važno. Induktivno zaključivanje nije valjano, ali srećom ljudi niti trebaju niti provode indukcije. Popperova je teza:

Jedino dobro rasuđivanje je deduktivno rasuđivanje. I to je sve što nam je potrebno da bismo se snalazili u svijetu ili se bavili znanošću.

Popper “zaobilazi” problem indukcije. Što rabimo umjesto indukcije? Nagađamo i testiramo ta nagađanja. Jedna od Popperovih knjiga zove se Nagađanja i opovrgavanja (Conjectures and Refutations). To su dvije ključne riječi u njegovoj filozofiji znanosti. Popperova ideja logike znanosti je sljedeća:

• Postavimo hipotezu H.
• Deduciramo posljedicu R hipoteze H, koju je moguće eksperimentalno testirati.
• Testiramo R.

– Ako je R testom potvrđena, onda je hipoteza H potkrijepljena (corroborated). To samo znači da je prošla test, a ne da je verificirana, a kamoli dokazana. Svaka naša teorija je pogrešiva i nikada nije dokazana (za Poppera je to test njene znanstvenosti). Nužno je zadržati kritički stav. Stalno moramo izvoditi nove implikacije koje možemo eksperimentalno testirati.

– Ako se R ne potvrdi, tada je hipoteza H opovrgnuta. Kada se to dogodi, eksperimentom smo i dedukcijom dokazali da je hipoteza H neistinita. Nešto smo naučili, ali deduktivno, a ne induktivno.

– Kada je hipoteza H opovrgnuta, trebamo je revidirati ili pokušati osmisliti novu hipotezu koja odgovara onome što sada znamo, uključujući činjenicu da posljedica R nije bila rezultat  eksperimenta.

To je vrlo jednostavna verzija Popperove znanstvene metodologije. On je sebe nazivao deduktivistom. Sve druge koji su pokušavali riješiti problem indukcije, posebno korištenjem ideja vjerojatnosti, zvao je induktivistima. Držao je da su njihove nade nerealne.

Bejesovski odgovor

Ipak, s vjerojatnošću možemo učiniti mnogo više nego što su to mislili Hume i Popper. Teorija vjerojatnosti tek je započela svoj put kada je Hume formulirao problem indukcije i on je možda bio u pravu, ali zapravo se nije bavio problemom koji nas zanima.

Mi imamo mnoga mišljenja i različite stupnjeve uvjerenja o tim mišljenjima. No, pitanje nije jesu li ta mišljenja racionalno utemeljena. Pitanje je možemo li ta mišljenja racionalno modificirati u svjetlu novih iskustava. Bejesovsko računanje aposteriornih vjerojatnosti iz apriornih vjerojatnosti i novih informacija dokazuje da možemo (usp. određenje vjerojatnosti glave na kovanici u četvrtom članku ove serije). To znači da postoji racionalan način učenja iz iskustva i to je sve što nam treba.

Humeovci bi mogli prigovarati da polazeći od različitih apriornih mišljenja ili čak predrasuda (koje učeći iz iskustva modificiramo na bejesovski način) možemo doći do potpuno različitih mišljenja i nikada ne postići konsenzus. A postizanje konsenzusa sigurno je dio onoga što znači biti racionalan. No, može se dokazati da čak i ako započnemo s različitim uvjerenjima, slažući se samo oko onoga što je moguće, naša će aposteriorna uvjerenja konvergirati prema konsenzusu u velikoj većini slučajeva.

(“Slaganje o onome što je moguće” znači da jedna osoba ne misli da neka hipoteza ima  vjerojatnost nula, dok druga osoba misli da ona ima pozitivnu vjerojatnost, jer nikakve nove informacije ne mogu utjecati na promjenu apriorne vjerojatnosti ako je ona nula.)

No, da i nema konvergencije to ne bi srušilo bejesovsku induktivnu logiku, kao što ni neslaganje oko premisa deduktivnih zaključaka ne ruši deduktivnu logiku. Deduktivna logika ne otkriva što je istina, nego kako iz istina slijede druge istine. Tako i induktivna logika ne otkriva što je koliko vjerojatno, nego kako jedne vjerojatnosti slijede iz drugih.

Čak i Neymanovo induktivno ponašanje, iako nije induktivno zaključivanje, ide korak dalje od Humea. Neymanovim riječima:

Apsolutno je istinito da iskustvo ne možemo generalizirati na neki nedisciplinirani način. Ali u pažljivo osmišljenim randomiziranim eksperimentima dobivene rezultate možemo koristiti u sustavu izvođenja zaključaka (recimo, zaključka da željena vrijednost leži u tom i tom intervalu pouzdanosti) i taj sustav osigurava da smo većinu vremena u pravu (recimo, 95% vremena).

Hume je u pravu, kaže Neyman. Nemamo razloga vjerovati niti jednom induktivnom zaključku. Ali imamo razloga koristiti svoju metodu zaključivanja, jer je ona u  velikoj većini slučajeva točna.

Možda nemamo metodu koja se može lako primijeniti na svakodnevni život i uobičajena očekivanja, za koje je Hume tvrdio da su stvar običaja i navika. Ali što god on tvrdio mi nismo samo i jedino bića običaja i navika. Mi možemo jasno formulirati svoja pitanja i dizajnirati eksperimente na koje onda možemo primijeniti bejesovske (pa čak i Neymanove) metode koje daju rezultate. To je upravo ono što nam je potrebno za objektivnu, racionalnu znanost.

Hume nam govori da nema racionalnog temelja za bilo kakvo induktivno zaključivanje; da postoje samo običaji i navike. Ali rezultati teorije vjerojatnosti dokazuju da su neki običaji i navike bolji od nekih drugih. Humeove riječi “običaj” i “navika” trebale su nas natjerati na predaju – o tome se ništa ne može reći, to je naprosto ono što radimo. To nije istina. Možda ne možemo dokazati da su navike i običaji koje preporuča teorija vjerojatnosti apsolutno najmudriji, ali na temelju naših uvjerenja o tome kakav je svijet, možemo dokazati da su te navike i običaji razumnije od drugih.

• Simpsonov paradoks

Odnos kauzalnosti i vjerojatnosti nešto je složeniji. Da bismo ga razumjeli najprije ćemo se upoznati s načelom sigurne stvari i Simpsonovim paradoksom.

1954. J. Savage je 1954. u knjizi Foundation of Statistics uveo načelo sigurne stvari STP (sure-thing principle). Formulirao ga je na sljedeći način:

Ako osoba preferira f u odnosu na g, bilo znajući da se desio B, ili  znajući da se desio -B, ona bi trebala preferirati f u odnosu na g i ako ništa ne zna o B.

Zatim je još primijetio:

Ne znam ni za jedno drugo ne-logičko načelo koje ravna našim odlukama i koje  se tako spremno prihvaća.

Formulirao ga je i kao kauzalno načelo koje se ne poziva na pojam znanja:

Ako uzrok L povećava vjerojatnost posljedice O u međusobno komplementarnim sub-populacijama S i –S onda je povećava i u cijeloj populaciji.

Međutim, C. Blyth je 1972. u članku On Simpson’s paradox and the sure-thing principle, pokušao opovrgnuti načelo sigurne stvari koristeći se jednim primjerom Simpsonovog paradoksa. Na tu vrstu paradoksa ukazao je H. Simpson 1951. u članku The interpretation of interaction in contingency tables. Simpsonovim paradoksima nazvao ih je Blyth u spomenutom članku iz 1972.

Da bismo procijenili je li to opovrgavanje korektno najprije ćemo objasniti što je Simpsonov paradoks, a načelu sigurne stvari i njegovom značaju za razumijevanje kauzalnosti (baš usprkos Simpsonovom paradoksu) vratit ćemo se u zadnjem nastavku ove serije.

Simpsonov paradoks

Simpsonov paradoks ilustrirat ćemo artificijelnim primjerom, koji je sličan Simpsonovom izvornom primjeru iz 1951. Temelji se na podacima o 80 kugli, od kojih je 40 u posudi P1, a  40 ih je u posudi P2. Kugle su crvene ili bijele i velike ili male.

P1	C	B		P2	C	B		P	C	B
V	7	3		V	9	21		V	16	24
M	18	12		M	2	8		M	20	20

U sub-populaciji P1, udio crvenih među malim kuglama je 18/30 = 60%. On je manji od udjela crvenih među velikim kuglama, koji je 7/10 = 70%.

U sub-populaciji P2, udio crvenih među malim kuglama je 2/10 = 20%. On je također  manji od udjela crvenih među velikim kuglama, koji je 9/30 = 30%.

Ali u cijeloj populaciji P, omjeri su obrnuti. Udio crvenih među malim kuglama je 20/40 = 50% i on je veći od udjela crvenih među velikim kuglama, koji je 16/40 = 40%.

7/10 = 70% > 18/30 = 60%

9/30 = 30% > 2/10 = 20%

——————————–

16/40 = 40% < 20/40 = 50%

Dakle, suprotno načelu sigurne stvari, to da je kugla velika povećava vjerojatnost da je ona crvena u obje komplementarne sub-populacije P1 i P2, ali ne i u cijeloj populaciji P. Mnogima je to iznenađujuće, a nekima čak i paradoksalno, pa takve obrate, zajedno s Blythom, nazivaju Simpsonovim paradoksima.

Naime, ljudi očekuju da više stope u sub-populacijama moraju rezultirati višim stopama u populaciji, jer zbrajaju se sub-populacije pa bi se nekako trebale zbrajati i njihove stope, npr. računanjem prosjeka. No, pogledajmo malo detaljnije o kakvom se tu „zbrajanju“ zapravo radi.

Objašnjenje Simpsonovog “paradoksa”

Kada se zbrajaju sub-populacije, njihove se stope “zbrajaju” prema pravilu “lošeg učenika”:

­\( \frac{a_1}{A_1} \oplus \frac{a_2}{A_2} = \frac{a_1 + a_2}{A_1 + A_2} \)

Lako je izračunati:

­\( \frac{a_1 + a_2}{A_1 + A_2} = \frac{a_1}{A_1} \frac{A_1}{A_1 + A_2} + \frac{a_2}{A_2} \frac{A_2}{A_1 + A_2} = \alpha_1 \frac{A_1}{A_1 + A_2} + \alpha_2 \frac{A_2}{A_1 + A_2} \)

Dakle, ako znamo samo stope u sub-populacijama (tj. znamo α₁ i α₂), onda A₁ i A₂ mogu biti bilo koji pozitivni cijeli brojevi, a odgovarajući a₁ i a₂ tada su a₁ = α₁A₁ i a₂ = α₂A₂. To znači da stopa u populaciji (tj. α₁ ⊕ α₂) može biti bilo koja (racionalna) vrijednost oblika:

­\( \alpha_1 \oplus \alpha_2 = \alpha_1 \frac{A_1}{A_1 + A_2} + \alpha_2 \frac{A_2}{A_1 + A_2} = p\alpha_1 + q\alpha_2 \quad  \quad p, q > 0 \text{ & } p + q = 1 \)

Dakle, α₁ ⊕ α₂ može biti bilo koja (racionalna) vrijednost iz intervala (α₁ , α₂).

Za daljnju analizu korisno je definirati Simpsonovu situaciju:

Situacija u kojoj je α₁ ≤ β₁ i α₂ ≤ β₂  jest Simpsonova situacija ako α₁ ⊕ α₂ i β₁ ⊕ β₂ mogu biti u bilo kojem poretku (ovisno o odabiru A₁ i A₂):

α₁ ≤ β₁           α₂ ≤ β₂
————————
α₁ ⊕ α₂ ⋚ β₁ ⊕ β₂

Simpsonove situacije veoma je lako karakterizirati:

Situacija u kojoj je α₁ ≤ β₁ i α₂ ≤ β₂ Simpsonova je situacija ako je i samo ako je (α₁ , α₂) ∩ (β₁ , β₂) ≠ ∅; ovdje smatramo da je (α₁ , α₂) = (α₂ , α₁) i (β₁ , β₂) = (β₂ , β₁).

Dokaz je trivijalan. Ako je presjek prazan onda je svaki α₁ ⊕ α₂ ∈ (α₁ , α₂) manji od svakog β₁ ⊕ β₂ ∈ (β₁ , β₂), kako god odabrali α₁ ⊕ α₂ i  β₁ ⊕ β₂, pa nemamo Simpsonov obrat. Ako presjek nije prazan, α₁ ⊕ α₂ i  β₁ ⊕ β₂ mogu biti bilo koje vrijednosti iz tog presjeka pa uz odgovarajuće odabire A₁, A₂ i B₁, B₂, možemo dobiti bilo koji poredak između α₁ ⊕ α₂ i  β₁ ⊕ β₂, tj. imamo Simpsonov obrat.

U našem primjeru s kuglama (α₁ , α₂) = (0.7, 0.3) i (β₁ , β₂) = (0.6, 0.2) pa je

(α₁ , α₂) ∩ (β₁ , β₂) = (0.3, 0.7) ∩ (0.2, 0.6) = (0.3, 0.6).

Vrijednosti α₁ ⊕ α₂ i β₁ ⊕ β₂ su unutar intervala (0.3, 0.6) i uz odgovarajuće odabire A₁, A₂ i B₁, B₂ možemo dobiti bilo koji poredak među njima pa tako i onaj iz našeg primjera,

α₁ ⊕ α₂ = 0.4 < 0.5 = β₁ ⊕ β₂.

Tu definitivno nema nikakvog paradoksa.

Psihologija Simpsonovog “paradoksa”

Psihološka je činjenica da ljudi ovakve situacije ipak doživljavaju kao paradoksalne i to je dokazano mnogim psihološkim eksperimentima. No, držimo da ti eksperimenti nisu dobro interpretirani. Navodimo tipični primjer.

Ispitanicima je kazano da u školskom okrugu postoje samo dvije srednje škole i da je prolaznost djevojaka na maturi u obje škole bolja od prolaznosti dječaka.

Nakon što su upoznati s ovim činjenicama ispitanicima je postavljeno pitanje, slijedi li da je u tom okrugu prolaznost djevojaka na maturi bolja od prolaznosti dječaka. Ponuđeni su im sljedeći odgovori:

1. Da, u tom okrugu je stopa maturiranja djevojčica veća od stope maturiranja dječaka.
2. Ne, u tom okrugu stopa maturiranja djevojčica manja je od stope maturiranja dječaka.
3. Ne, u tom okrugu stopa maturiranja djevojčica jednaka je stopi maturiranja dječaka.
4. Ne može se zaključiti, jer nema dovoljno informacija.

U eksperimentu sa 106 studenata, ustanovljeno je da su na postavljeno pitanje studenti netočno odgovorili (a) u 83% slučajeva, dok su točno odgovorili (d) u samo 12% slučajeva.  Slični eksperimenti ponovljeni su mnogo puta i uvijek su dobiveni slični postoci odgovora.

Naše sumnje u to da takvi eksperimenti dokazuju da ljudi Simpsonove obrate doživljavaju kao paradokse, najbolje ćemo objasniti usporedbom s jednim drugim problemom.

Automobil A vozi brže od automobila B. Koji će automobil prvi stići sa zajedničkog polazišta na zajedničko odredište?

1. Automobil A će stići prvi.
2. Automobil B će stići prvi.
3. Automobil A i automobil B stići će u isto vrijeme.
4. Ne može se zaključiti, jer nema dovoljno informacija.

Točan odgovor je (d) jer nigdje nismo rekli da automobili kreću u isto vrijeme, iako to svi pretpostavljaju. Da smo dali informaciju da B kreće prije A broj bi se točnih odgovora radikalno povećao (B kreće ranije, ali A je brži pa zapravo ne možemo ništa zaključiti).

Broj točnih odgovora radikalno bi se povećao i da smo dali informacije o disbalansu djevojčica i dječaka u srednjim školama. Te dodatne informacije dole su podebljane.

U jednom školskom okrugu postoje samo dvije srednje škole T i L. Stopa prolaznosti djevojaka u školi T veća od stope prolaznosti dječaka u toj školi. Škola T upisuje gotovo isključivo dječake. Stopa prolaznost djevojaka u školi L također je veća od stope prolaznosti dječaka u toj školi. Škola L upisuje gotovo isključivo djevojke.

Slijedi li da je u cijelom okrugu stopa prolaznosti djevojaka veća od stope prolaznosti dječaka?

Dodatne informacije upućuju na to da je stopa prolaznosti djevojaka u cijelom okrugu približno jednaka njihovoj stopi prolaznosti u školi L i da je stopa prolaznosti dječaka u cijelom okrugu približno jednaka njihovoj stopi prolaznosti u školi T.

S (P|Ž) ≈ S_L (P|Ž)          S (P|M) ≈ S_T (P|M)

S obzirom da o odnosu stopa S_L (P|Ž) i S_T (P|M) nemamo nikakvih informacije slijedi da ništa ne možemo zaključiti ni o odnosu stopa S (P|Ž) i S (P|M), tj. (d) je točan odgovor.

U izvornom problemu nemamo informaciju o disbalansu djevojčica i dječaka u dvije škole pa ljudi automatski pretpostavljaju da on ne postoji i zaključuju:

S (P|Ž) ≈ ½ S_T (P|Ž) + ½ S_L (P|Ž) > ½ S_T (P|M) + ½ S_L (P|M) ≈ S (P|M)

Što to dokazuje? Samo da ljudi u nedostatku informacija praznine popunjavaju najjednostavnijim pretpostavkama. To je zdravi razum (common sense) koji ljude razlikuje od strojeva i jedan je od glavnih problema u razvoju umjetne inteligencije. Iako se ogromna sredstva ulažu u izgradnju common sense algoritama uspjesi su ograničeni. Ako vam kažem „Ivan je otišao u restoran, naručio odrezak i ostavio veliku napojnicu“ i ako vas zatim pitam „Je li Ivan otišao iz restorana, a da nije jeo?“ vi znate da nije, jer znate da je pojeo odrezak. Strojevi ne uspijevaju doći do tog  zdravo razumskog zaključka, jer nigdje u toj maloj sceni nisam naveo da je čovjek išta pojeo. Konkretnije, chat gpt je, kada sam mu postavio to pitanje, odgovorio da ne zna jer nema dovoljno informacija. Nama zdrav razum dopušta čitanje između redaka. Nas ne treba eksplicitno informirati da se u restoranima hrana pojede nakon što se naruči i prije nego se ostavi napojnica.

Simpsonov „paradoks“ u stvarnom svijetu

Da se ne radi samo o teorijskim razmatranjima dokazuje sljedeći primjer iz sveučilišnog života. Početkom 1970-ih, kalifornijsko sveučilište Berkeley tuženo je zbog spolne diskriminacije pri upisu na postdiplomske studije. Naime, u jesen 1973. na najveće odjele primljeno je  46% kandidata i 30% kandidatkinja. Na prvi pogled, i pod pretpostavkom da su kvalifikacije podnositelja zahtjeva bile slične, ovi podaci doista bi mogli ukazivati na spolnu diskriminaciju. Međutim, kada se pogledaju podaci unutar tih odjela, predrasuda prema kandidatkinjama netragom nestaje i zato je tužba bila povučena.

Department	All		Men		Women
	Applicants	Admitted	Applicants	Admitted	Applicants	Admitted
A	933	64%	825	62%	108	82%
B	585	63%	560	63%	25	68%
C	918	35%	325	37%	593	34%
D	792	34%	417	33%	375	35%
E	584	25%	191	28%	393	24%
F	714	6%	373	6%	341	7%
Total	4526	39%	2691	45%	1835	30%

(Izvor: Simpson’s Paradox, Wikipedia)

Tu je došlo do Simpsonovog obrata, jer su se žene više prijavljivale na odjele s niskim stopama prihvaćanja, dok su se muškarci više prijavljivali na odjele s visokim stopama prihvaćanja (kao što je vidljivo u tablici).

To možemo još ekstremnije ilustrirati fiktivnim slučajem srednje škole iz koje izlazi 10 izvrsnih i 100 prosječnih maturanata. Od 10 izvrsnih njih se 9 pokušalo upisati na sveučilišta A lige, a uspjelo je njih 5. Pokušao je i 1 prosječni, ali nije uspio. Ostali, tj. 99 prosječnih i 1 izvrsni, pokušali su se upisati na sveučilišta C lige i uspjelo je 80 prosječnih i taj jedan izvrsni.

Iz srednje škole izlazi	10 izvrsnih	100 prosječnih
Upisuje A ligu	5/9=55%	0/1=0%
Upisuje C ligu	1/1=100%	80/99=81%
Ukupno	6/10=60%	80/100=80%

Iako su izvrsni očekivano uspješniji i na sveučilištima A lige i na onima C lige, oni su ukupno „neuspješniji“. No, svima je jasno da se istina o uspješnosti nalazi u sub-populacijama, a ne u ukupnoj populaciji. O tome zašto je to svima jasno biti će govora u zadnjem nastavku ove serije. Bacit će to i važno svjetlo na problem kauzalnosti, no vratimo se prije toga našoj analizi „doživljaja paradoksa“.

Je li Simpsonov paradoks matematički zahtjevan

Kao argument da se ne radi samo o prešutnim zdravo razumskim pretpostavkama, već da su Simpsonove situacije u najmanju ruku matematički zahtjevne, ako već ne i paradoksalne, mogla bi se navesti činjenica da je Simpsonova „paradoksalna“ situacija bila jedan od problema na matematičkoj olimpijadi 2009./2010. Evo problema.

Imate četiri čaše, sa sokom od jabuke, sokom od breskve, sokom od grejpa i sokom od mrkve. Sok od jabuke slađi je od soka od grejpa, a sok od breskve slađi je od soka od mrkve. Je li mješavina soka jabuke i breskve slađa od mješavine soka grejpa i mrkve?

Ili jednostavnije, znamo da je J > G i B > M. Je li nužno da je J+B > G+M? (Naravno, znak > tu znači slađe, a ne količinski veće.)

Primijetite da ništa ne znamo o G ⋚ B. Dakle, moguće je da je B < G, pa samo trebamo postići B + J ≈ B, G + M ≈ G i tada imamo B+J ≈ B < G ≈ G+M. Dakle, stavite nekoliko kapi J u B i nekoliko kapi M u G i dobit ćete J+B < G+M.

Pretpostavljam da autor problema nije očekivao tako jednostavno rješenje. No problem matematički nije zahtjevan i svodi se na uzimanje u obzir odgovarajućih pretpostavki.