Toisto varioiden

Toistettavuus ja kriittisyys ovat tärkeitä tieteenfilosofisia ohjenuoria. Samoin havaintoja ja tutkimuksia pidetään tärkeänä ja keskeisenä.

Osa vaatii enemmän. James Bogen & James Woodward ovat sitä mieltä, että tieteentutkimuksessa ei riitä, että on jokin koesarja ja sen tulos. Syynä on se, että tieteentekijät tietävät että jokin elementti häiritsee tuloksia. Tähän on tietenkin varmistusmenetelmä. Toistettavuus on tietenkin kätevä määrittely, mutta tosiasiassa tieteentekijät eivät käytä sitä sellaisenaan. Tyypillisempi ilmiö on koejärjestely, joka yhdistää sekä toistettavuuden että kriittisyyden.

Näin otetaan huomioon sekä se, että koe on tehty huolellisesti, että otetaan huomioon että koeaineistoa ei häiritse jokin tuntematon elementti. Onhan mahdollista että koetulos on idiosynkraattinen ~ Juuri tämä koejärjestely tuottaa väärän tuloksen. Tähän on syynä se, että aineisto on seurausta maailmasta, jossa on monia systeemejä ja niiden tulkintaankin osallistuu useita eri tekijöitä. Havaintoaineisto syntyy siis eri asioiden vaikutuksesta keskenään, eikä näitä kaikkia välttämättä tunneta hyvin. Kaiken kukkuraksi voi olla niin, että on tietty laitteisto tai järjestelmä voi olla rakennettu vain tuota yhtä koetta varten.

Variointi johtaa käytännössä vain hyviin asioihin. Kokeita tehdään varioiden, jolloin löytyy ilmiöitä ja niiden rajoja. Samalla saadaan tuloksia tarkemmaksi. Toisin sanoen tutkimuksilla saadaan samalla varmistettua että etsittyä uutta. Näin saadaan otetta tarkemmasta ilmiöstä. Hypoteesinmuodostus on tälläisessä tapauksessa jopa mekaanista puurtamista. Isoa tai vaikeaa inspiraatiota ei vaadita. Tämä tarjoaa siis monenlaisia etuja tutkimukselle ja tulosten luotettavuudelle. (Arkikielellä voisi sanoa että tämä tuottaa saivartelusuojaa. Eri elementit otetaan huomioon, ja niiden muuntelulla varmistellaan sitä että ne eivät vaikuta. Ja vaikka niitä ei tunnettaisikaan, kun olosuhteita muutetaan, on mahdollista että se "vaikuttava tuntematon elementti" muuttuu myös muutettavien osasten mukana.)

Tosin Woodward ja Bogen ovat sitä mieltä että toistaminen itsessään on mahdotonta: Kokeita voidaan tehdä hyvin samanlaisissa olosuhteissa, mutta niissä on ehkä minimaalisen eroja. Tätä kautta itse yksittäinen koekin on idiosynkraattinen, vaikka sitä yrittäisi toistaa mahdollisimman identtisenä.

Tällä on käytännön merkitystä myös pseudotieteiden tunnistamisessa. Parapsykologiassa esimerkiksi jotkin kokeet voivat näyttää positiivista tulosta jostain ulkopuolisesta syystä. Samoin jossain rukousparantamisessa kokeen koejärjestely tuottaakin eron, eikä aito rukous. Tämä estää liian heppoisesti tehdyn meta -analyysin tutkimuksista. On toki arvokasta tehdä tutkimus joka tekee yhteenvedon jo tehdyistä tutkimuksista ilman sen kummempaa omaa empiiristä panosta. Mutta jos tälläinen sotkeutunut koetulos iskee koeaineistoon, se vaikuttaa keskiarvoon erikoisesti. Pinnallisesti näyttää siltä että osa tutkimuksista antaa tukea ja osa ei. Keskiarvolla tilannetta lähestymällä syntyy sellainen tilanne, että ilmiö on joko heikko tai toimii vain "harvinaisissa tapauksissa", joka voitaisiin tulkita erityislahjakkuudeksi. Se on toki mahdollista, mutta silloin pitää tehdä tarkentava koerypäs, jolla tutkitaan juuri näitä erikoislahjakkaita erilaisissa tilanteissa.

Tämä tarkoittaa yksinkertaisesti sitä, että havaintoaineisto toimii todistusaineistona. Teoriat selittävät useiden kokeiden rinta rinnan vaikuttavista ilmiöitä (phenomena) eivät yksittäisestä kokeesta saatavaa havaintoaineistoa (data) tai edes yksittäistä havaintoa. Siinä missä koeaineiston yksittäinen outo havainto tulkitaan yleensä mittausvirheeksi, samoin ilmiön kohdalla haetaan vakaata ja säännönmukaista, astetta laajempaa, vaikutusta.