lauantai 22. elokuuta 2009

Science and second thought : How to catch a cheater?

Tieteenfilosofiassa voi tavoitteena olla joko
1: Tiedemaailman toiminnan kuvaaminen deskriptiivisesti, jolloin saadaan selville vain se, miten tiedemaailma toimii sosiaalisena yhteisönä. Emme silloin tiedä onko hyvä tai huono että se toimii siten.
2: Osa on tietenkin sitä tieteenfilosofiaa jota esimerkiksi Popper teki: Siinä asetetaan ehto, joka tieteellä on oltava. Tämä taas kertoo minkälainen tieteen "pitäisi olla", mutta ei minkälainen se on.

Mielestäni kun nämä yhdistää, saadaan tieteen kehittämistavoite. Tässä on tila, ja tavoite ja mietitään miten ne saadaan kohtaamaan. Ongelmana tässä on tietysti se, että "tiedepoliiseja" ei pidetä kovin hyvänä asiana. Mutta "tiedepoliisiudessa" kyseessä on ääritapaus : Eriittäin harva on sitä mieltä että hyvä tiede voisi olla esimerkiksi epäloogista. Toki monet ainakin -tieteen nimissä- kulkevat toimijat voivat olla epäloogisia, mutta hekin esittävät olevansa loogisia.

Kun kokonaisuutta katsoo, voidaankin sanoa että tieteen menettelyt, joissa on tieteen tavoitetilaa parantavia keinoja, kohdistetaan huomio pääasiassa kahteen asiaan:
1: Se asettaa erilaisia perusteltavuuden rajoja. Tämä tarkoittaa sitä että asioiden todistamiselle asetetaan ehtoja. En käytä sanaa "loogisuus", vaikka sekin kuuluu tähän kohtaan. Koska yksi tälläinen testi on myös empiirisyys, eli vertailu havaintoihin ja pelkkä sana rationaalisuus vie ainakin minun ajatukset suoraan rationaalisuuden maailmaan. Ja rationalisti voi miettiä asioita logiikan kautta ilman, että "menee pihalle lapion kanssa kaivelemaan" tai tekemään muuta havainnointitoimintaa. Tätä painotetaan melko usein.
2: Mukana on kuitenkin toinen elementti. Se on laadunvarmistus. Eli se, miten huijarit saadaan kiinni.

Ero on tietysti häilyvä. Joku huijaus voi esimerkiksi perustua siihen että uskottavan kuuloisia argumenttivirheitä käyttäen tulkitaan jokin aineisto. Tällöin huijaus huomataan tutkimalla perusteltavuuden rajoja. Ja jotkut asiat ovat tietysti molempia.
1: Esimerkiksi kriittisyys tarkoittaa sitä että eri vaikuttavat asiat otettaisiin huomioon. Kun tässä ollaan huolellisia, tiedetään että niihin ei voida vedota selityksen luonteen saamisessa. Tämä tuo mahdollisimman yksiselitteisen tuloksen, eli se nojaa perusteltavuuteen. Kuitenkin se liittyy myös huijaamiseen: Jos nämä toiset elementit tietää, voi rakentaa ehdoin tahdoin kokeita jotka antavat näennäisesti tukea omille väitteille. Toisaalta jos niitä ei tiedä, niiden levittäminen voi olla huijausta koska ne tulkitaan väärin. Näennäistä tukea koetaan aidoksi tueksi.
2: Toistettavuus taas toimii kahdella tasolla. Se sekä laajentaa otosta, eli lisää jo sellaisenaan tilastollista luotettavuutta. Ja lisäksi siinä vaaditaan myös sitä että kaksi eri toimijaa saa saman tuloksen. Yksilö voi aina muokata tutkimusta, ja esimerkiksi huijata että mittalaite sanoo X vaikka se tekisi jotain ihan muuta. Tällä kautta voidaan rakentaa valtaviakin otosmääriä, joka muuten näyttää toimivalta mutta onkin alusta loppuun fuulaa. Toistettavuuden kohdalla vaaditaan jo useampi eri taho tekemään sama huijaus juuri samalla tavalla. Se on yhä mahdollista, mutta paljon vaikeampaa.
1+2: Koejärjestelmissä huijaamisen nappaaminen toimii usein otoksen sekä sen laadun valvonnan kautta. Esimerkiksi jos kerää vain positiivisia tapauksia, voi löytää aina yksittäisiä tarinoita esimerkiksi vaihtoehtolääkkeen parantavasta voimasta. Ja jos niitä ei ole, aina voidaan saada jotkut valehtelemaan. Joko rahalla tai hyvästä uskosta aateveljen puolelta. Näiden kasaaminen vaatii tietysti tutkimusta, ja työtä, mutta se vaatii valtavaa "ikävien tarinoiden hylkäämistä" tai unohtamista. Kun on iso otos, ja sen luonnetta valvotaan siten että erilaiset vastaukset eivät "vain katoa", saadaan luottamusta siitä että koe ei ole huijattu.

Tieteessä on kuitenkin yksi erityisen näkyvä ja tärkeä miltei puhtaasti huijauksen nappaamiseen rakennettu detektori, vertaisarviointi. Tässä ideana on se, että toinen ammattilainen katsoo tutkimuksen läpi. Siinä keskitytään tutkimuksen laatuun, eli siihen onko toinen esimerkiksi jättänyt jonkun tiedetyn elementin ulos kokeesta, ja onko se liian spekuloiva. Tässä on takana tietysti se, että kaksi ammattilaista joutuisi tekemään saman ajatteluvirheen, mikä laskee "ihan perusmokienkin" määrää jonkin verran. Toisaalta kun vertaisarvioituja tutkimuksia julkaisevat lehdet perustuvat tälle julkaisemiselle, on selvää että niiden taloudellisissa intresseissä ei ole huonojen tutkimusten julkaiseminen vain siksi että ne tukisivat jotain hallitsevaa paradigmaa.

Sillä jos jokin lehti ensimmäisenä julkaisee jostain uudesta aiheesta ja tämä muuttuu uskottavammaksi, se saa uskottavuutta muiden silmissä ja se saa tätä kautta enemmän rahaa. Ja jos jokin vanha teoria kumoutuu ja lehti kirjoittaa siitä ensin, se saa mainetta. Vanhat onnistumiset rakentavat perinteen ja arvovallan. Tästä syntyy sellaisia instituutioita kuten "Nature". "Yhden asian lehdeksi" jumittuminen taas johtaa siihen että uskottavuus menee. Lehti alkaa junnaamaan "jälkijunassa". Tätä kautta lehtien taloudellinen intressi nojaa juuri "ajassa pysymisessä" eikä niinkään yhden tietyn ideologian tai teorian boostaamisesta.
1: Siksi "kokosin juuri aateveljistä reilukerhon, ollaan kaikki asiantuntijoita, joten meidän tulokset on vertaisarvioituja" ei ole ihan rehellinen kannanotto. Tämänkaltaista vertailutoimintaa on erinäisten pseudotieteiden parissa. Se ei kuitenkaan vielä ole "aitoa vertaisarviointia". Se vain yrittää imitoida sitä, unohtaen sen olennaisimman (sitoutumisesta) johtuvan piirteen. Näiden menestys riippuu siitä että ne ovat asiansa mukana. Ne esittävät asiasta vain tietyn kannan, ja ne ovat sitoutuneet tähän. Ja tilaajatkin voivat lopettaa tilaamisen jos "se väärä teoria" saakin tukea tai "se oikea teoria" saa vahvaa kritiikkiä tässä lehdessä. Se ei ole siis vertaisarviointilehti vaan reilukerhon jäsenjulkaisu, jossa pahin roska on luultavasti heitetty viemäriin. Mutta se on silti reilukerho.

Toki tässäkin on muistettava, että "avainketjumiehiä" voi aina olla. Joku voi esimerkiksi ottaa aatetoverinsa tutkimuksen, vaikka se ei olisi ihan hänen ammattitaitonsa alaakaan, ja päästää tämän hyvävelimenettelyllä läpi. Se ei siis ole täydellinen. Mutta se toimii "kohtuu hyvin".
1: Tämä vertautuu mielestäni lukkoon. Ulko -oveen asennettu lukko ei ole täydellinen. Joku voi murtautua ikkunasta, jos ei muuten. Ja osa osaa tiirikoidakin. Mutta harva on silti sitä mieltä että lukoton talo olisi yhtä hyvä ja yhtä murtovarma talo kuin sellainen jossa lukko on.

Mielestäni tämä on tärkeä asia, kun mietitään sitä miksi "munapääskeptikot" luottavat tieteeseen. Sitä ei tehdä siksi, että kaavat olisivat ihania. Tai että skeptikko hylkää kaiken elävän ja lämpimän elämässä. Tai että hän pitäisi tiedettä ideologioista ja ketkuilusta vapaana vyöhykkeenä. Se perustuu siihen että hän vertailee "lukollista ovea" "lukottomaan oveen". Ja miettii että kun ideologioita on kaikkialla ja jokainen voi huijata, on syytä luottaa siihen joka valvoo huijaamista edes jotenkin. Näin kaikki eivät voi "murtautua taloon", vaan määrä rajoittuu ainoastaan "kaikista taitavimpiin harvoihin". Jos tiedemaailma onnistuu valvonnan jälkeen kusettamaan sinua, se tekee sen tosi tosi hyvin, ja se huijaus on tosi tosi vaikeasti huomattava. Jos tiedemaailma ei onnistu huomaamaan sitä, minkä tahon valvonta on parempaa ja tarkempaa, ja todisteisiin ja havaintoperusteluihin sidotumpaa?

Ei kommentteja: