perjantai 22. elokuuta 2014

Korttipeli ; Kun Smith&Wesson päihittää täys käden.

Ollakseni muodikkaasti interaktiivinen suosittelen että otat tämän blogauksen alun vakavasti. Varaat siihen aikaa ja leikit mukana. Siihen on syy. Aloitan asian pienellä korttitehtävällä. Kuvittele, että sinulle näytetään korttipakka. Ja sitten sinulle kerrotaan että toisella puolella on aina kirjain. Ja toisella numero. Lisäksi sinulle kerrotaan että aina jos kortissa on A -kirjain, sen toisella puolella on 4. Tämä A:n ja 4 yhteys sinun kuitenkin pitäisi varmistaa. Ja tätä varten sinulle läimitään eteen neljä korttia. Joista kahta sinun täytyy kääntää. Näiden kääntämisten tarkoituksena on siis koetella tätä väitettä. Että A:n takana on todellakin neljä.
Näet kortit edessäsi. Valitse niistä kaksi. Tökkäää vaikka sormella tai lyijykynällä näytölle. (Älä kuitenkaan piirrä kynällä näyttöön, ainakaan permanenttitussilla.) Suurin osa varmasti valitsee kortit vain mielessään ja se on aivan soveliasta, kunhan ei sitten vaihda sitä tulosta.

Tämänlaisia korttitehtäviä on tehty paljon. Ja jos valitsit kääntäväsi A:n ja 4:sen, toimit kuten suurin osa ihmisistä. Tämä tehtävä muistuttaa siitä, miten 80% ihmisistä kokee olevansa keskivertoa älykkäämpiä. Ja noin 80% ihmisistä jotka eivät ole kuulleet tästä tehtävästä aikaisemmin vastaavat tuolla tavalla. Kääntävät A:n ja 4:sen.

Tämä ei ole ollenkaan tyhmä vastaus. A on relevantti tehtävän testaamisen kannalta. Ja jos valitsit kaksi korttia joista kumpikaan ei ollut A niin kuulut vähemmistöön. Tampioon vähemmistöön. Älä onnittele siis itseäsi. Paitsi jos käänsit A:n, se kun on testaamisen kannalta aivan relevantti kääntö. Tehtävässä vaikeaa onkin sen toisen kortin oikein valitseminen. Pitäisi nimittäin kääntää 7. Nimittäin sääntönähän oli se, että A:n takana on aina neljä. Ei että nelosen takana ei voisi olla jotain tahansa muuta kirjainta. (A;n ja 4 suhteessa kyseessä on implikaatio ei ekvivalenssi.) Jos 7 takana sen sijaan on A, niin sääntö A:n ja nelosen yhteydestä kumoutuu. (Jos sen sijaan valitsit K:n niin edustat paranoidia tyyppiä joka epäilee että toisella puolella on kirjain ja toisella numero. Jota tässä ei testattu. Onnittelut kyvystä kyseenalaistaa kaikki, mutta sen sijaan se että ei tämän epäilyn vuoksi suoriudu tehtävistä on sitten jo hieman huolestuttavampaa.) Jos vastasit oikein, voit onnitella itseäsi. Paitsi jos tunsit Wasonin korttitehtävän ennalta, jolloin kaikki arvokkaat ponnistelusi valuivat maahan kuin Oonanin siemen.

Wasonin korttitehtävä oli hienoa ladata pöytään, sillä tämänlaatuiset auttavat tähtäämään huomioita oleelliseen. Wasonin korttitehtävässä ongelmaa ei ratkaista parhaalla mahdollisella tavalla. Eli seulomalla kaikki A -kortit erilleen ja katsomalla jokaisen taakse. Sen sijaan siinä toimitaan järkevästi epätäydellisessä maailmassa. Silloin täytyy osata ladata oleelliset tiedot esille ja varmistaa että ne ovat todella paikkaansapitäviä. Ei voi vain räimiä unelmamaailmassa vaan huomioida myös rajallisuus.

Miksi Wasonin korttitehtävä on niin vaikea?

Helppo vastaus olisi sanoa, että ihmiset ovat tyhmiä. Ja se voisi teknisesti olla oikeinkin. Mutta on paljon kiinnostavampaa tietää miksi me ihmiset olemme tyhmiä. Pääsyynä on se, että ihmiset tarkistavat sääntöjä varsin erikoisella tavalla. Tavalla johon liittyy ns. vahvistusharha. Testatessaan ihmiset yrittävät vahvistaa sääntöä, eivät kumota sitä. Ihmiset ovat tottuneet ennakko-oletustensa varmistamiseen eivätkä niiden koettelemiseen.

Itse asiassa Wasonin korttitehtävän onnistuminen muuttuu hyvinkin tavalliseksi jos se esitetään arkisena tehtävänä jossa yritetään narauttaa huijareita. Jos Wasonin korttitehtävä esimerkiksi muotoillaan siten, että sääntönä on että Alkoholia on vain täysi-ikäisillä ja kysytään että keitä vartijan pitäisi kyylätä jotta sääntö myös toteutuisi, ihmiset vastaavat useimmiten oikein.

Jos tehtävää muutetaan siten että kirjaimet viittaavat siihen mitä jonkun korissa pilkottaa ja ikä siihen että jonkun ikä tiedetään, voidaan saada aikaan vaikka se, että kirjain A viittaa Alkoholiin ja K kahviin, he tarkistavat iän siltä jolla on Alkoholia. Ei ole mitään järkeä tarkistaa Kahvinjuojien papereita. Samoin koriin kurkistetaan vain jos tiedetään että henkilö on alaikäinen. Täysi-ikäisen korissa ei ole mitään kiinnostavaa. Olkoon siellä sitten kahvia tai viinaa.

Tämä itse asiassa liittyy hyvin vakavasti siihen miksi arkijärki sopii harvinaisen huonosti tieteentekoon. Ja samalla se selittää oikein sen miksi skeptikot vaikuttavat inhottavilta tyypeiltä. ; Hyvässä tieteenteossa yritetään kontrolloida muuttujia niin että varmistetaan että ilmiö todella johtuu teoriasta. Ei siten että on teoria ja sovitetaan havainnot siihen.

Ja kuten Wasonin korttitehtävä (tai ainakin sen huono onnistumisprosentti) demonstroi, vahvistusharhaan on kuitenkin äärimmäisen helppo astua. Se on ihmisen pääasiallinen tila. (En siis halua nöyryyttää epäonnistuneita tai rapsuttaa terävimpien egoa. Ajattelin päin vastoiin lähinnä konkretisoida "rationaalisena ihmisenä olemisen" perustaa. Nöyryyttäminen ja rapsutteli olivat siis vain miellyttävä lisämauste.) Tämän vuoksi argumentistoon saattaa kasautua esimerkiksi Texas sharpshooter fallacy. Jossa omaa teoriaa sovitetaan havaintoaineistoon jälkikäteen. Selitetään miten havaintoaineisto sopii omaan teoriaan erityisen hyvin, mutta vasta kun aineisto on käsillä. (Argumenttivirheen taustaidea kuvataan usein vertauksena jossa Teksasilainen tarkka-ampuja ampuu ensin seinää ja sitten piirtää maalitaulun luodinreikien ympärille. Ja selittää sitten että hän on hemmetin hyvä ampuja kun on luodinreikä pilkassa ja kaikkea.)

Vahvistusharhalla on jännittäviä seurauksia.

Psykologi Ray Hyman kertoo siitä miten hän oli tekemässä tutkimusta vaihtoehtohoitoväen kanssa. Kiropraktikoiden kanssa oli yhteistyöhanke jossa testattiin "hyvän sokerin" ja "pahan sokerin" välistä eroa. Testeissä glukoosia pidettiin pahana ja fruktoosia hyvänä. Tätä testattiin nivelmanipulointitempulla. Kun testissä kiropraktikot ja potilaa tiesivät nauttivatko he glukoosia vai fruktoosia, ilmiö oli selvästi havaittavissa. Koeryhmien välille syntyi selvä ero.

Koska nivelmanipuloinnissa työnnettiin kättä, ja tässä pienet ja mahdollisesti ideomotoriset liikkeet (pienet, ei edes tiedostetut, liikkeet) ja ennakko-odotukset tai ihan puhdas halu saada tietyt tulokset saattaisivat vaikuttaa siihen kuinka kovasti kiropraktikko ponnistelee kättä työntäessään - tai miten vahvasti potilas pistää vastaan - haluttiin eliminoida tämänlainen puoli prosessista. Siksi testiä jatkettiin siten että kone arpoi koeputkiin glukoosit ja fruktoosit. Kaksoissokkoutetussa kokeessa koetta tehtiin muutoin samoin mutta nyt kiropraktikot ja potilaat eivät tienneet kumpaa sokeria oli nautittu. Verrokkien väliin ei syntynyt eroa.

Hyman kertoo miten kiropraktikot nyökyttelivät tuloksille. Heistä ensimmäinen testi todisti että ilmiö oli todellinen. Sen lisäksi kiropraktikoiden johtaja nyökytteli myös kaksoissokkotutkimukselle. Sillä hän oli sitä mieltä että tämä demonstroi täysin selvästi sen, miksi he ovat lakanneet kaksoissokkokokeiden tekemisestä. Lähtökohtana oli se, että kun sokerin hyvyys ja pahuus ilmiönä on tosi, niin tämänlaatuinen epäonnistuminen kaksoissokkokokeessa todisti että kaksoissokkokoe ei kelpaa lääketieteeseen.

Tämäntapainen vahvistusharhailmiö toteutuu toki muutenkin vaihtoehtohoitopiireissä. Ei ole ollenkaan tavallista että sama henkilö reagoi kokeisiin joissa vaihtoehtohoito ei saa tukea siten että tiedeyhteisön tutkimus on vain niin rajoittunut että se ei vielä kykene pysymään vaihtoehtohoidon hienouksien perässä. Tämä kriittisyys katoaa heti jos tutkimus paljastaa koeryhmien välissä eroja jotka miellyttävät. Nyt asia sitten onkin täysin tieteen ulottuvilla ja itse asiassa tieteenkin todistama. ; On selvää että tämänlainen peli on epäreilua. Kiropraktikoiden johtaja selvästi yliampui, hän halusi ladata totuuksia mutta ei varmistaa että ne todella toimivat.

Itse asiassa "skepsishaasteissa" ja kaikessa muussa on usein vähän sellainen maku että vaihtoehtotyypit ovat mielellään kokeilemassa. Ja vaikka testi suunnitellaan yhdessä heidän kanssaan, niin kokeessa epäonnistumista ei lasketa. Onnistuminen kuitenkin tasan tarkkaan laskettaisiin. Eli vaihtoehtohoitaja kokeilee mielellään jotta saa mahdollisuuden onnistua. Mutta mahdollisuutta epäonnistumiseen ei hyväksytä. Tätä tukee se, että vaihtoehtohoidot toimivat usein asiakaskokemuksien ja siihen liittyvien anekdoottien kautta. Anekdootti toisensa perään lauotaan ja tätä kasaumaa pidetään empiirisenä todisteena.

Maailmankuva.

Mutta ei asia tietysti jää vaihtoehtohoitoihin. Vaihtoehtohoidot sentään tarkastelevat varsin konkreettista asiaa, paranemista. Ja sen puolella kaksoissokkokokeen kohdalla ollaan heikoilla ihan sen vuoksi että kaksoissokkokokeessa ei välitetä paranemisen mekanismista. Siinä paranemista tarkastellaan tilastollisesti ja tätä kautta katsotaan miten toimintavarma jokin parannustapa on. Mutta kaikki eivät ole näin konkreettisia. Osa ihmisistä nojaa aikaansa paljon paranemista abstraktimpien asioiden parissa.

Ja vahvistusharha ei suinkaan ole vain empiiristen asioiden kohdalla tapahtuva ilmiö. Itse asiassa voidaan sanoa että filosofisissa ja maailmankuvallisissa asioissa se on vielä vahvempi. Niissä turpaansaaminen on niin paljon vaikeampaa. Ja siksi tätä asiaa harvemmin jarrutetaan.

Täsmälleen sama ilmiö tapahtuu käytännössä joka ikinen kerta kuin Intelligent Designin kannattaja laukoo sen tyyppisiä sanoja kuin "naturalismi". Esimerkin täysin kiropraktikon lausunnon kanssa analogisesta heitosta on William Dembskin puuskahdus. "As for your example, I’m not going to take the bait. You’re asking me to play a game: “Provide as much detail in terms of possible causal mechanisms for your ID position as I do for my Darwinian position.” ID is not a mechanistic theory, and it’s not ID’s task to match your pathetic level of detail in telling mechanistic stories. If ID is correct and an intelligence is responsible and indispensable for certain structures, then it makes no sense to try to ape your method of connecting the dots. True, there may be dots to be connected. But there may also be fundamental discontinuities, and with IC systems that is what ID is discovering." Ja tämäkään lausunto ei johdu siitä että ID:läiset olisivat idiootteja. Kenties he ovat tyhmiä, mutta he eivät ole tyhmiä millään ihmiskunnalle poikkeuksellisella tavalla. (Kenties me kaikki olemme tyhmiä, kun oikein silmiin katsotaan.) Henkenä näissä argumenteissa on yksinkertaisesti se, että ID on tiedettä, ja jos tiedemaailmasta tulee vastalauseita niin se johtuu siitä että tiede itse on väärää.

Maailmankuva vaikuttaakin tulkintoihin hyvin vahvasti. Vahvistusharha näkyy esimerkiksi siinä miten tiedeuutisia tulkitaan. Esimerkiksi jos koehenkilöiden mielipiteitä kysytään ja heidät jaetaan konservatiivisiin ja liberaaleihin, on selvää että epämieluisa tiedetulos tulkitaan huonommin tehdyksi kuin sitä tukeva. Ja näin luettu tulos voidaan jopa kokea niin vääräksi että oma alkuperäinen näkemys vahvistuu sen sijaan että heikkenisi. (Ja jos tämän mainitun testin mainitsisi huijaukseksi niin tämä ennakkonäkemys vahvistuisi vielä lisää. Mikä on erikoista kun faktoja koskeva tietomäärä ennen tämänlaista koetta olisi sama kuin ennen sitä.) Ja erikoista on jopa se, että ihminen voi koeaineistoja lukien tulla huonommaksi asiassa josta lukee. Vahvistusharha on aivan tavallista, eikä mitenkään mielisairasta.

Tätä kautta on ymmärrettävä miten osan ihmisistä on helppoa naureskella pseudotieteilijöille tai huonoa tiedettä tekeville. Vahvistusharha kun vaikuttaa siihen miten kriittisesti tutkimus luetaan. Tästä hyvänä esimerkkinä on se, miten Regnerus asetti itsensä tuoreesti hieman noloon tilanteeseen. Hän nimittäin moitti maailman suurinta homo- ja lesboliittojen lasten onnellisuutta koskevaa tutkimusta metodologisista puutteista. Tämä kritiikki oli sinänsä oleellista että koe ei ollut täydellinen. Kuitenkin se oli tiedostettu ja huomioitu jopa tässä tutkimuksessa itsessään. Regneruksella oli tähtäin terävällä kun hän argumentatiivisesti tarkkalaukoi sen mikä testissä oli puutteellista. 

Regneruksen kannalta noloa vain on se, että hän itse on ratsastanut homoseksuaalien perheiden tutkimuksella jonka tilastolliset puutteet ovat vielä suurempia. Ja tietysti se, että sosiologiassa täydellistä aineistoa harvoin on saatavilla ja moitittu koe oli tehty niin hyvin kuin sellainen on käytännössä mahdollista tehdä. (Toisin kuin Regneruksen kokeen, jossa ryhmien valinta ja hallinta ei ollut ollut lainkaan tasapuolinen.) ; Tässä kohden ilmassa onkin tietty epäsymmetria. Regneruksen on maailmankuvansa ja vahvistusharhansa vuoksi vaikeampaa huomata omaa virhettään. On todellakin helpompaa huomata rikka toisen kuin malka omassa silmässään. Kuitenkin vahvistusharha ei tee asiasta relativistista. Regnerus ei ole oleassa maailmankuvassaan. Vaan vahvistusharhan vuoksi heikoissa kantimissa. Tilastotieteen ja otosten ja tutkimuksen varmuuden kannalta hän on tässä yhtä taatusti väärässä kuin se joka kääntää Wasonin korttipelissä A:n ja 4:sen, ja joka moittii pelin järjestäjää siitä että onniteltu vastapuoli ei tee täydellistä tutkimusta eli käännä joka ikistä A -korttia esille ja tarkista niiden taakse. ; Regnerus ampui siis tässä itseään jalkaan, tavalla joka näytti olevan aivan ilmiselvää suunnilleen kaikille paitsi hänelle itselleen.

Asiasta saa tietysti lisähupia Suomen kamaralla. Sillä Tapio Puolimatka jysäytteli täyslaidallisia Seurakuntalaisesta. Puolimatkan oma lausunto eduskunnalle piti viitteissään Regneruksen tutkimuksen, joten se oli selvästi tarpeeksi hyvä metodologisesti. Tämä väärä tulos oli sitten kuitenkin huonosti tehty eikä sitä siksi saisi käyttää.
Tosin on mahdollista sekin,
että Puolimatkan virheen
lähde selittyy sillä että
Jyväskylän yliopiston
kasvatustieteen puolelta
on tullut kaikenlaista.
Toki tunnustan myös, että
Rauhalakorttini on yliampuva;
Dosentti Rauhala kun on 
ihan kiinnostava ja asiallinen
ja karismaattinen tyyppi.
On toki mahdollista, että Puolimatka tässä lähinnä toisti Regneruksen lausuntoa, joten kenties virheen lähde sekä asiantuntijalausuntoon että tähän tutkimuskritiikkiin ovat peräisin samasta lähteestä. Puolimatkan hihat ovat kenties siksi täynnä kuin (Pasi?) Turusen pyssy sillä hän on lukenut paljon tämänlaatuista aineistoa ja hänellä on hieman minimoinut luovaa panostaan.

Ja tämä ei tarkoita että Puolimatka olisi pöljä. Hänen ongelmansa on vahvistusharhassa, joka käytännössä ilmentää itseään joka ikisen kerran kun hän päästää suustaan sanan "naturalismi". Hänelle voi olla helppoa naureskella. Mutta tosiasiassa meillä jokaisella on riski tähän. Puolimatka ei edusta mitään tyhmää laukojaa joka sihtailee vihollistaan miettimättä totuutta. Vaan hän päinvastoin on juuri sitä missä me jokainen tavallaan olemme aina ja koko ajan. Toiset ihmiset - ja etenkin skeptikot jotka varmistelevat kuin huijareita joka paikassa nähden - tietävät tyhmyydestämme enemmän kuin me itse.

Ja nyt, tämän blogauksen luvun päätteeksi toivon että otat osaa toiseen kokeeseen. Tällä kertaa se on assosiaatiokoe. Valitse se mikä ensimmäisenä tulee mieleen; "Miekat vai pistoolit?" Vastaa mielessäsi heti, älä jää märehtimään strategialla.
Mikäli valitsit "pistoolit" syynä voi olla se, että käytin paljon tuliasepohjaista kieltä tässä tekstissä ja näin ankkuroin sinua tiettyyn skeemaan. Tarjosin toistuvan teeman, johon ehkä et tietoisesti kiinnittänyt huomiota, ja sitten tarjosin valikoidun pääsyn assosiaatioihin sanavalinnoillani. Tai sitten sinulla on vain huono maku ja sinun pitäisi hävetä! Hävetä!

Ei kommentteja: