Kontrolloitu toistettavuus.

"In most other fields there is rarely a conflict for long. If you disagree with someone else’s results you can go on repeating the experiments until everyone comes to a consensus about which of you was right or until some crucial difference in the experiments is discovered. In parapsychology, of course, unrepeatability makes that consensus impossible. You have to agree to differ."
(Susan Blackmore)

Yksi tieteellisen tutkimuksen perusperiaatteita, joka toistuu tieteenfilosofiassa toistuvasti on toistettavuus. Se tarkoittaa yksinkertaisesti sitä, että sen lisäksi että tehty tutkimus nojaa taustateoriaan, ja testaa siihen liittyviä ennusteita siten että tulos liittyy teoriaan, myös itse koe on voitava toistaa. Eli jos joku toinen tekee samanlaatuista tutkimusta, hän saa samat tulokset. Tämä ei tarkoita sitä että kokeesta ei saataisi erilaisia tulkintoja. Toistettavuus koskee sitä että jos tehdään koe X elementeillä A,B,C,D ja saadaan tulos Y, niin joku toinen toistaa saman kokeen samoilla elementeillä, he saavat samansuuntaisen konkreettisen loppuseurauksen Y. Eri tutkijoiden tulkinnat voivat toki olla erilaisia, mutta tämä ei riko kokeen toistettavuutta.

Tämä vaatii tietenkin myös jonkinlaista pääsyä dataan. Jotta voidaan sanoa mukaileeko uusittu koe aikaisemmin saatua koetta Y, pitäisi tietysti tietää miten koe on tehty, ja mitä on tapahtunut. Tutkimustulosten piilottelua ei tämän vuoksi hevin suvaita. Yksi piilottelun muodoista on kuitenkin joskus vaikeaa huomata: Se on cherry picking: Jos tuotetaan tuhat tuntia aineistoa, joista sitten vain itselle mieluisat päästetään ulos, tulokset vääristyvät. Jos minä esimerkiksi haluan ennustaa kortteja silmät sidottuna, minu tarvitsee vain ottaa paljon aineistoa ja lähettää todisteeksi vain ne nauhanpätkät, joissa arvaan oikein sen kortin. Kaikki ne joissa arvaan väärin, menevät roskiin. Sitten minun ei tarvitse kuin väittää että tuo nauha minkä näytän, onkin oikeasti kaikki.

Sen sijaan se ei tarkoita sitä että itse ilmiö tulisi voida toistaa. Siksi on ylipäätään mahdollista tutkia esimerkiksi sitä, missä tähdet ovat olleet tuhansia vuosia sitten, miten mannerlaatat ovat liikkuneet ja olleet, miten suuret kanjonin syntyvät ja niin edespäin. Tosin tässä kohden korostuu se, että empiirinen metodi ei vaadi itse ilmiön havaitsemista suoraan. Monesti tilanne onkin verrattavissa ikään kuin rikostutkimukseen: Itse rikosta ei tarvitse nähdä, saada kiinni verekseltään. Todisteet voivat osoittaa asian myös epäsuorasti.

Toistettavuus taas tarkoittaa sitä että vain tutkija X ei saa niitä tuloksia vaan muutkin tutkijat saavat samoja tuloksia. Ei riitä että "uskovat" toistvat kokeen. Tästä hyvänä esimerkkinä on frenologia. Siihen uskovat saivat samoja tuloksia, vaikka se oli väärässä.
1: Tässä kohden on kuitenkin hyvä huomata myös se, mistä puhutaan on nimen omaan kokeen tulokset, ei niiden tulkitseminen; Osa vanhoista tieteistä on ollut sellaisia että koetulokset ovat näyttäneet puhuvan niiden puolesta, ne ovat vain kumoutuneet myöhemmin. Siksi esimerkiksi vaikka "Newtonin fysiikka on korvattu Einsteinin fysiikalla", Newtonin teoriat ovat eri asemassa kuin frenologia. Vaikka molempia on pidetty tieteinä, molempia on tutkittu ja molemmat on korvattu toisella teorialla, ne eroavat nimen omaan niiden toistettavuuden kohdalla.

Toistettavuudessa ideana on niinkin yksinkertainen asia, että jos vian yksi tutkija saa tietyn tuloksen kokeesta, ja kaikki muut saavat erilaisen, on mahdollista että tutkija on tehnyt jotain väärin, tai on peräti "ketunhäntä kainalossa" liikenteessä. Kun sen sijaan muutkin - jopa erimieliset - saavat samoja tuloksia, se vahvistaa sitä että takana ei ole manipulatiota ja toiveajattelua. Tämä vahvistaa sitä että asia on todella "evidentiaalisesti tuettu", että "ihan oikeat tutkimustulokset tukevat sitä".

Tämän asian ymmärtäminen on tärkeää.

Toinen tärkeä asia on kontrolli. Tämä tarkoittaa sitä että kun koetta suunnitellaan, takana on taustateoria, joka kertoo mitä kokeelta voidaan odottaa. Siinä vaikutusmenettelytavat tunnetaan. Kontrollissa lisäksi eliminoidaan häiriötekijöitä. Tätä kautta voidaan esimerkiksi tehdä tutkimus jossa tutkitaan sitä vaikuttaako X asiaan: Tämä voidaan tehdä siten että meillä on tila A, jossa X on mukana ja tila B jossa tila X ei ole mukana. Jos kokeessa huomataan että tilassa A tapahtuu jotain kun X on paikalla ei vielä tarkoita että X todella tekisi jotain, jos se toinen koetilanne antaakin saman tuloksen. Esimerkiksi tämänkaltainen tutkimus sisältää siis kontrollielementin. Tällä estetään "sen jälkeen - sen vuoksi" -päättely, joka on ihmiselle tyypillistä. Mutta virheellistä. Jos päänsärkyni paranee kun pyörin lattioilla se ei tarkoita että lattioilla pyöriminen paransi päänsärkyni. Tämä virhe tunnetaan nimellä Post hoc ergo propter hoc.

Parapsykologiassa kontrolli ja toistettavuus ovat harvinaisia. Yleensä erityisesti kontrolli on heikkoa. Esimerkiksi huijaamisen keinoja ei yleensä oteta riittävän hyvin huomioon.

Kontrollin puutteesta hyvänä esimerkkinä on James Randin toiminta, joka on näyttänyt monesti sen että kun asioita tutkitaan kriittisesti, paranormaaleja ilmiöitä ei enää tapahdu.
1: Parapsyykikkojen temppuja voidaan toistaa taikurin taidoin, ilman taikuutta. Moni kritisoi Randia siitä, että hän vain osoittaa että saman voi tehdä muutenkin kuin aidolla taikuudella, eikä osoita että sama asia ei olisi tehty taikuudella. Kontrollin idea tieteellisessä todistamisessa on kuitenkin se, mihin empiirikko tai tieteenfilosofi kiinnittää huomionsa. Parapsykologia väittää että sen erikoisia ilmiöitä tapahtuu ja että tämä on tieteellistä ja tutkittavaa. Siksi sen olisi myös täytettävä näitä tieteellisiä vaatimuksia.
2: Lisäksi esimerkiksi kun Uri Geller kohtasi Randin, ja Randi ei antanut Uri Gellerin kosketella koetilaa omin käsin, hänen selvännäkönsä katosi, tai voimat menivät väliaikaisesti pois päältä, kuten Geller itse asian ilmaisi. Näissä olennaista on se, että kontrollia voi tälläisessä asiassa olla vaikeaa keksiä, jos ei ole taikuri joka tekee samanlaisia asioita työkseen. Ne ovat kuitenkin olennaisia ja nekin on otettava huomioon jos halutaan osoittaa että kyseessä ei ole mikään luonnollinen ilmiö eikä taikatemppu, vaan aito paranormaali toiminta. Usein parapsykologit selittävät että skeptikot levittävät "negatiivisia auroja", jotka estävät ilmiön tapahtumisen. (Noituus on ehkä vain koehenkilökohtaista, eli vain pieni marginaali omaisi kyvyt. Itse asiassa kun parapsykologiaa on tutkittu kauan ja tuloksia ei ole saatu helposti se kertoo minimissään siitä että noituus on todella harvinaista. Mutta tässä selitys onkin että noita on noita vaan kun kukaan ei epäile hänen kykyjään.) Tämä "kriitikon aura" -selitys iskee kontrollikohtaan kahtaa kautta, tehden siitä itse asiassa tieteenfilosofisesti melko huonon turvasataman (1) Se kertoo siitä että kontrollia ei voitaisi tehdä. Jos tämä on jo "rakenteessa" tavoilla joilla sitä ei voida kiertää, se itse asiassa estää asian tieteellisen tutkimisen (2) Se kertoo että on jokin elementti, joka lisäksi vaikuttaa asiassa. Sen kontrolloiminen, huomioon ottaminen, olisi tärkeää kaikkia kokeita suunnitellessa. (+) Tämän lisäksi se on tietysti hankala, koska sitä ei ole todistettu. Tähän taas tarvittaisiin sitä että voitaisiin varmistaa että kontrolli ei oikeasti vain poistakaan huijausta, vaan estää vain ilmiön toteutumisen. Juuri tätä testaava koesuunnitelma tulisi olla tärkeässä sijassa tutkimuksen jatkokehittämisessä. Tämä on tosin kaikille ad hoc -selityksille tyypillinen ongelma, ja niitä on siedettävä jossain määrin, mutta ei liikaa.
3: Kontrollin puute näkyi Randin "Projekti Alfaan" tekemästä soluttautumisesta. Tässä oli taustalla se, että James S. McDonnell antoi Washington Universitylle 500 000 dollarin verran rahaa, joka tuli suunnata para­psykologisen laboratorion perustamiseen javarustamiseen. Aikaisemmin rahanpuute oli ollut selitys tutkimuksen laadun heikkouteen. Randi ei uskonut että raha auttaisi, ja niinpä hän solutti sisään koehenkilöitä. Matkaan lähetettiin monta hakijaa, pari pääsi sisään asti. Ideana oli yksinkertaiasesti se, että Randi oli varma että parapsykologit eivät paljastaisi karkeitakaan huijausyrityksiä. Jos huijaaminen onnistuu helpostu, on varmaa että kontrollia ei ole tehty tarpeeksi hyvin. Soluttautuneille kerrottiin että jos heitä epäiltäisiin huijauksesta ja tästä tulisi kysymystä, heidän tuli välittönästi kertoa että he ovat huijaamassa ja että James Randi lähetti heidät. Aidot huijarit eivät tietenkään tunnustaisi näin vähällä. Mutta tätä kysymystä ei koskaan kysytty. Randi lisäksi lähetti tutkijoille kirjeen, jossa hän ehdotti joitain asioita joilla ehkäistään huijauksia. Koehenkilöt tekivät karkeita temppuja. Esimerkiksi filmille saatiin taikapyörre sylkäisemällä linssiin.

Tämä ei ole ilkeyttä tai aiheen moittimista. Päin vastoin. Tämän vuoksi jotkut parapsykologit ovat jopa kiitelleet Randia koska tämä vie tutkimusta eteenpäin. Toinen asia on se, että kun tutkitaan parapsykologiaa, on hyvä ottaa erilaisia asiantuntijuuksia huomioon. Jos joku on fysiikan tai tieteenfilosofian asiantuntija, se ei vielä tee tästä eksperttiä tällä alueella. Siksi esimerkiksi monille taikatempuille on vaikeaa keksiä selitystä. Niitä ei yleensä uskota aidon taikuuden, vaan sorminäppäryyden ja illuusionluomisen keinoina. Siksi pelkkä valvonta ja kriittinen ajattelu ei aina riitä, vaan myös ammattitaitoisen taikurin käyttö on tärkeää.

Parapsykologian puolella tästä kaikesta hyvän esimerkin näyttää Charles T. Tart. Hän teki ESP -tutkimuksia, eli tutki tapoja joilla voi saada tietoa ilman normaaleja aisteja; Esimerkiksi tiedon mikä kuva on jossain astiassa jonne ei näe. Hän sai tuloksia ESP:n puolesta. Kun hänen tutkimuksissaan havaittiin puutteita kontrollipuolella, hän korjasi ne ja uusi kokeensa. Tällöin hän ei enää saanut tuloksia ESP:n puolesta. Silti hän kiisti että vika olisi ESP:n uskottavuudessa. Hän esitti että "Because the level of scoring in the first experiment was so high, it would be absurd to argue that the results of the second experiment mean that the results of the first experiment were a mere statistical fluke." Kun kontrollin puute ja kontrollin lisäys tuovat eron kokeeseen, empiristi tavallisesti kuitenkin ajattelee että ero näiden kahden välillä johtuu erosta koejärjestelyjen välillä.

Siksi voisikin sanoa että toistettavuus ja kontrolloitavuus ovat ehdottomasti yksiä empiirisen metodin tärkeitä, tunnettuja ja keskeisiä asioita. Mutta kansanomaistuksissa liian vähän puhuttuja seikkoja. Lisäksi siihen liitetään karkeita virheitä josta osaa voi tulkita vain tahalliseksi. Karkeasti voisi jopa sanoa että pseudotieteelliset teoriat eivät yleensä edes tuota kokeita, mutta toisaalta esimerkiksi parapsykologiassa kokeita tuotetaan ja yritetään tuottaa. Sitä on esimerkiksi niinkin karkealta vaikuttava temppu, kuin kummitustaloon meneminen laitteistojen kanssa. Tätä aineistoa tuotetaan jopa televisiosarjoihin asti. Niiden kokeet eivät kuitenkaan ole kontrolloituja eivätkä toistettavia. Koska niissä ei yritetä eliminoida kaikkia vaihtoehtoja, ei vaihtoehtoja välttämättä huomata. Mitä useampia vaihtoehtoisia elementtejä poistetaan, sitä vähemmän selittelytilaa kokeessa on. Jos se epäonnistuu, ei ole helppoa löytää pakopaikkaa, koska pitäisi keksiä mikä elementti sotki tuloksen. Tällöin teoriaa on korjattava tai se on joskus harvoin peräti kumottava. Toisaalta se tarkoittaa samanaikaisesti myös sitä että vaihtoehtoisia selityksiä kokeen onnistumiselle on vaikeampaa löytää, joten se on varmempi. Eli jos koe onnistuu ja se on hyvin kontrolloitu, voimme myös hyvillä mielin sanoa että se on todennäköisesti se "epäilty taustateoria", jota "aikaansai tapahtuman".