tiistai 26. toukokuuta 2009

Kokijat ja kasa anekdootteja

Melko usein ihmiset pitävät kokijoita erityisen luotettavina. Tämä tarkoittaa sitä että he luottavat erityisen vahvasti (1) omiin kokemuksiinsa ja (2) asiaa muuten kokeneita. Tietenkin asioiden kohtaaminen kertoo jotain asioista. Ongelmana ei ole luottamus vaan liika luottamus. Liika luottamus kun johtaa siihen että sanoja alkaa merkitsemään asiaa enemmän.

Jamie Whyte tuo kirjassaan "Crimes against logic" muutaman esimerkin tästä:
1: Ihmiset luottavat esimerkiksi onnettomuudessa olleiden tai rikoksen uhrien näkemyksiin. Ongelmana on kuitenkin se, että kun ihminen on kokenut jotain harvinaista asiaa, hänen näkemyksensä sen keskeisyydestä vääristyy: Harvinainen onnettomuus näyttää heistä paljon todennäköisemmältä. Tilaston 1% muistuttaa heille että "se oli 1% silloinkin kun se tapahtui". Tämän ilmiön seurauksena kokija voi itse asiassa olla näkemyksineen vinoutuneempi kuin asiaa kokematon ihminen. Tästä ehkä hauskin esimerkki on se, että ajattelemme mustat ihmiset helposti rasismin uhreina ja valkoiset tekijöinä. Siksi jos valkoihoinen esittää jotain näkemystä, ja hänet nähdään rasistina tämän vuoksi, voi politiikassa ja muussakin asiaa ratkoa sillä että saman asian esittäjäksi valitaan mustaihoinen. Silloin ihmiset ajattelevat yllättävän paljon vaikeammin että kyseessä olisi rasistinen ilmaus.
2: Toisekseen ihmiset luottavat omiin kokemuksiinsa. Siksi jos joku on kohdannut vaikka mustia ihmisiä tai homoseksuaaleja, hän tekee näiden kohtaamisten kautta jonkinlaisia yleispäätelmiä. Tässä on ongelmana se, että otos on sekä (1) pieni että (2) vinoutunut. Ihminen ei ensinnäkään yleensä kohta niin useaa eri henkilöä että siitä voitaisiin vetää kovinkaan luotettavia johtopäätöksiä. Toisekseen ihminen ei liiku satunnaisessa seurassa, joten hän ei ylipäätään kohtaa "tasaisesti valittua otosta". Tämän vuoksi esimerkiksi fundamentalistikristittyjen keskuudessa liikkuva ei kohtaa "normaalia homoseksuaalia", koska nämä eivät kerro asioistaan. Sen sijaan he kohtaavat niitä jotka (1) ovat entisiä homoseksuaalisuuden harjoittajia jotka ovat lopettaneet tapansa ja jotka (2) väittävät olevansa kohtaa 1. Siksi heistä varmasti tuntuu että kertomukset mallia "ennen olin miesprostituoitu ja nyt olen hetero" ovat heistä yleisiä. Tämä antaa sekä (1) vääriä kuvia siitä mitä homoseksuaalit ovat ja (2) vääristävät sitä kuinka helppoa ja yleistä "eheytyminen" on. Epäonnistuneet eivät hevin näy tilastoissa. Vain asiassa onnistuneet sekä manipulaattorit ja ne jotka ovat molempia seisovat joukon edessä kertomassa kertomuksiaan.
3: Lisäksi otoksen vinoutuma tulee erityisen selvästi esiin asiakaspalautteiden kohdalla. Tällä on suuri merkitys vaihtoehtohoitojen kohdalla. Syynä on se, että vaikka asiakkaita olisi paljonkin, on tyypillistä että (1) vaihtoehtohoitoihin eivät tutustu satunnaiset ihmiset, vaan heillä on positiivinen ennakkoasenne sitä kohtaan useammin kuin muutoin. (2) Asiakaspalautetta annetaan tekijälle yleensä vain positiivisesti. Muuten taas negatiivinen kommentointi on yleisempää. Siksi "puskaradio" välittää huonoja uutisia jotka eivät koskaan yllä esimerkiksi vaihtoehtohoitajan luokse. Tätä pahentaa se, että jos jollakulla on huonoja kokemuksia hän saattaa jättää kertahoitoon. Tällöin hoitaja ei kohtaa häntä uudestaan ja vain tyytyväiset asiakkaat näkyvät, ja he näkyvät peräti toistuvasti. Tästä syntyy todella vahvistava vaikutelma. Tämän vuoksi asiakaspalaute, vaikka onkin tietysti tärkeä asia ottaa myös huomioon, ei sinällään ole todiste. Se on vain kasa henkilökohtaisia kertomuksia, anekdootteja.

Molempien ilmiöiden kohdalla syy vääristymään on se, että oikein minkään suuruinen kasa anekdootteja ei vielä sinällään tee todistetta minkään puolesta. Olennaista on se, onko anekdootit kerätty sopivalla menetelmällä. Siksi esimerkiksi Nassim Taleb muistuttaa kirjassa "Musta Joutsen" vahvistusharhasta. Sehän ei ole tahallinen manipulaatio, vaan ihmisen luontainen tapa toimia: Hän ei niinkään yritä kumota näkemyksiään ja hypoteesejaan vaan hän päin vastoin helposti istuu alas ja kerää juuri sitä aineistoa joka tukee hänen aavistelujaan ja jättää huomaamatta "irrelevantteina" ne asiat jotka eivät siihen sovi - tai jotka ovat sen kanssa suorastaan ristiriidassa. Siksi jos henkilöllä on lähes mikä tahansa valmis näkemys tai valmiihko aavistus jostain, hän menee helposti kirjastoon ja lukee ja kerää kasaan kaiken mikä tukee tätä väitettä. Onnistuminen tällä menetelmällä on varmaa koska aina löytyy joku joka on joko suoraan samaa mieltä tai sitten esittää tähän liittyviä näkemyksiä. Kun ihminen lähtee tälle tielle, hän suorittaa cherry picking jonka huomaaminen on työlästä. Se vaatii helposti jopa enemmän työtä kuin alkuperäisen anekdootti/datakasan kokoaminen koska asioiden poiminnan lisäksi tulee tutkia sekä poimittujen asioiden konteksti, että tutustua siihen aineistoon "josta vaietaan", eli dataan jota ei ole käsitelty ja pistetty siihen käsiteltävään aineistoon. Vasta tällä saadaan selville onko "otos aineistosta" otettu asiallisesti vai ei.

Omakohtainen kokija on siis hieman eri asia kuin asiantuntija.

Ei kommentteja: