MBTI -cultist strikes back (of their own)

"The interesting - and somewhat alarming - fact about the MBTI is that, despite its popularity, it has been subject to sustained criticism by professional psychologists for over three decades. One problem is that it displays what statisticians call low "test-retest reliability." So if you retake the test after only a five-week gap, there's around a 50% chance that you will fall into a different personality category compared to the first time you took the test."
(Fortune magazine, "Have we all been duped by the Myers-Briggs test?")

Kirjoitin eilen MBTI -ilmiön lieveilmiöistä. Teksti oli jotain jota tein hieman vasemmalla kädellä huvittuneena. Ajattelin, että se on huumoriblogaus jossa on perusasiat kunnossa. En aina jaksa pingottaa. Kuitenkin ajattelin että siinä on ne perusasiat kunnossa. Ja ajattelin antaa luvan mennä. Ihan sillä että olin jo aikaisemmin alustanut aihetta. Ajattelin että näin syntyy kiva pikku juttu, jossa asiat eivät ole liian perseestä jotta sen kehtaa nimiinsä laittaa.

Mutta koska kyseessä on ilmiö joka on hyvin suuri, ja koska sen ympärillä on sosiaalista pihinää, sain ns. pahastuneen kommentin. Se esitti itseään kritiikkinä, mutta siitä oli vaikeaa löytää ns. argumenttia. Rohkeasti ad hominem-diagnoosilinjalla sain kuulla että kritisoiminen on helppoa ja vaivatonta. Ja että en selvästi ollut tutustunut aiheeseen ja että olin kaunainen Takkiraudan kirjoittajalle. Tästä toki puuttui se, mikä tekee argumentin. Eli se ei eritellyt mitkä väitteeni olivat väärin ja miten asiat oikeasti hoidetaan ja mitkä tutkimukset antavat niille pontta. Ei kerrottu asiavirheitä eli mikä tekstissä oli mainittavan asiantuntematonta. Ja tätä kautta se oli ironisesti jotain jonka profetoin siinä kritisoidussa tekstissä. Että kritiikki hoidetaan diagnoosilla.

Erityisesti minua huvitti se, että kuten ensimmäisestä linkistäni voi huomata, MBTI -ilmiö on suuri. Ja sen kritiikki on suhteellisen valtavirtaa. Sitä löytyy suurista lehdistä ja persoonallisuustutkijoilta. Silti Suomessa MBTI -kritiikin a ja o näyttää olevan se, että kaikki kritiikki on lähtökohtaisesti vain nettitestejä ja asiantuntematonta. Toki ymmärrän että kritiikin kohteena ei ole hyvä. Mutta evoluution puolestapuhujana tiedän että "helppo kritiikki" on todella olemassaoleva ilmiö. Ja että en silti ole lähtenyt sille linjalle että kiistäisin kreationistien olemassaolon. Tai että Dembskin ja Behen tapaisia professoritason miehiä ei olisi olemassa. Siitä huolimatta, että nämä ovat väärässä, olen pyrkinyt joka itse korostamaan heidän olemassaoloaan. ; Mutta tätä ei toisaalta oikein voi ihmetellä, sillä David Pittenger on korostanut että MBTI -julkaisut ovat keskittyneet tiettyihin sitä ajaviin lehtiin. Tietty "echo chamber" -ilmiö onkin tässä suhteessa enemmän kuin odotettavaa.

Toisaalta minulle tuli rippusen myötätuntoa kritisoijalle. Sillä MBTI -kulttilaisille aihe on rakas. Minulle asia oli vain leikkiä, ja suhteeni Takkirautaan sisältää minulle normaalin määrän pilkkasanoja. (nähdäkseni olen monesti suhtautunut häneen suopeasti ja jopa maininnut että kyllä minä voisin hänen aivojaan panna. Joka ei ole ehkä kauniisti sanottu, mutta on minun suustani ns. kohteliaisuus.) Siksi on kenties tarpeen rakentaa hieman syvempi argumentti aiheesta.

Pyrin käyttämään tässä lähdeviitteitä. Ja käytänkin. Toki ne ovat tämän aihepiirin "klassikkoja". En raapinut mitään omia uniikkeja uusia löydöksiä. Jos siis olet tottunut MBTI -aihepiirin parista, tämä on heille lähinnä referaatti tutuksi tulleesta. Klassikkous toki tekee kritiikkiin vastaamisesta helpompaa. Mutta tälläistä sitä saa kasaan kun raapii ikiaikaisia kliseisiä tietokoneen uumenista. Nyt se ei ole kuitenkaan tehty vasemmalla kädellä leikkimielisesti, eli nähdäkseni demonstroin millä argumentein olen aiheesta sitä mieltä kuin olen.
1: Samalla voidaan varmasti arvioida hitusen sitäkin että miten hyvin minulla on aavistusta tai ei ole aihepiirin perusmetodeista. Ja missä määrin ajatteluni on tuulesta temmattua. Tämä on oleellista siinä mielessä että jos minua kutsuu amatööriksi, se on syytös ja loukkaus. Joku voi miettiä tätä blogausta lukiessaan asiaa myös henkilökohtaisen kautta. ; Että jos loukkaa niin on kusipää mutta jos loukkaa epäargumentatiivisesti on idiootti ja kusipää. Esimerkiksi. Jotain muutakin vastaavaa tulee mieleen.

MBTI mokaa vain kahdessa asiassa ; Reliabiliteetissa ja validiteetissa

Monet ihmiset vastustavat kaikkia persoonallisuustestejä. Taustalla voi olla vaikka fenomenologinen filosofia jossa tämänlainen on lokerointia. Itse en tämänlaisia edusta. Itse asiassa, mikäli jotakuta kiinnostaa, olen ollut äärimmäisen myönteinen erilaisten temperamenttitutkimusten teolle ja vastaaville. En siis ole "persoonallisuustestejä vastaan yleensä". Itse asiassa tässä blogauksessa on, ihan tämän vuoksi, mainittu muita persoonallisuustestejä. Niissä on otettu huomioon jotain jota MBTI:ssä ei ole. Joka tarkoittaa sitä että jos minulla on vastahankaa, se on vain ja ainoastaan MBTI -testiä kohtaan. Tämänlainen obskuuri spesifisyys on tietysti merkki jostain. Ei kenties siitä että haluan leikkiä kriittistä kriittisyyden vuoksi tässä yhdessä asiassa.

Jokainen persoonallisuustesti pyörii validiteetin ja reliabiliteetin kanssa. Suorastaan voidaan sanoa että jos persoonallisuustestien tieteellisyyttä arvioidaan, virheet yleensä vaikuttavat jompaan kumpaan tai molempiin näistä ilmiöistä. ; Validiteetti tarkoittaa sitä että luonnossa - tässä tapauksessa psyykessä - on todella sellaisia ilmiöitä ja vaikutussuhteita joita siitä mitataan testillä. Reliabiliteetti tarkoittaa sitä että testin tulokset eivät vaihdu mittauskerrasta toiseen. Hyvä testi on jotain jonka on onnistuttava molemmissa. Sillä jos tutkitaan olemassaolevaa piirettä testillä joka antaa eri tuloksia eri kerroilla, testi menettää luotettavuuden. Ja jos taas testi tuottaa konsistentisti saman tuloksen, joka taas ei koske tosielämää mitenkään, niin testiä on paha soveltaa yhtään mihinkään.

Ja näistä ongelmista pahin on yleensä Forer -efekti. Siksi Forer -efektin mainitseminen on jotain joka tekee kaksi asiaa (a) Se on todellakin helppo kritiikki, sillä se on se jonka kanssa joudutaan miltei aina painimaan ja asia hoitamaan jotenkin. (b) Toisaalta se on pelottava uhka. Sillä Forer -efektin kohdalla ongelmana on se, että se iskee sekä validiteettin että reliabliliteettiin.

Tässä moni on moittinut MBTI -tutkimusta siitä että sen käsitteet ovat epämääräisiä. Esimerkiksi Robert Carroll on moittinut MBTI:tä siitä että testin peruskäsitteet ovat aika heikosti määriteltyjä. Ja tämä johtaa tiedetysti Forer -efektin kasvamiseen. Itse näen että tämä ongelma on jotain joka on varmasti vahvimmillaan nettitesteissä ja jonka asiantunteva ihminen voi kiertää. Sillä tosiasiassa MBTI -kyselyn rakenteessa on tiettyjä väitelauseita jotka sidotaan tiettyyn ilmiöön. Näin peruskäsitteiden obskuurius on haaste joka ainakin periaatteessa voidaan kiertää hyvin tehdyllä testillä.

Tai siis se teoriassa voisi. Mutta valitettavasti MBTI -testin tunnettu heikkous, heikkous jota MBTI:n harjoittajat eivät oikein pysty kiertämään, kertoo siitä että sen reliabiliteetti on melkoisen heikko. Eri kerroilla tulokset vaihtuvat. Sama henkilö saa kaksi kertaa testissä käydessään eri tulokset.

Ja kysymys ei ole pelkistä testituloksista jotka tehdään internetin ihmemaassa. ; Ja tämä ongelma itse asiassa on mukana myös ammattilaisten tekemissä testeissä. Tämä syy on se, että MBTI ei itse asiassa ollenkaan huomioi sitä asiaa jonka kanssa yleensä painitaan heti jos psykometria on kyseessä. Esimerkiksi sellaiset testit kuin MMPI (Minnesota Multiphasic Personality Inventory) ja PAI (Personality Assesment Inventory) käsittelevät testiä siten että siinä valehteleminen olisi vaikeaa ja haasteellista.

MBTI:llä ei ole tämänlaista. Se luottaa vastaajan puhtaaseen rehellisyyteen. Matthewsin tutkimus, joka jo nimessään spoilaa tuloksesta olennaisimman "The MBTI is a flawed measure of personality" kuvaa sitä miten testien tulokset vaihtuvat lyhyelläkin koejaksolla. Jo aikaisemmin viittaamani Pittenger nostaa tämän myös esiin siinä jo viittaamassani. Harveyn "Reliability and Validity, in MBTI Applications" kertoo MBTI -keskusteluissa usein esiin nousevan 50% muutosprosentin. (Nämä ovat asianmukaisesti tehtyjä testejä eivätkä mitään nettitestejä.) MBTI -testien luotettavuus vaihtelee testistä ja kokeesta ja testaajasta riippuen 39-76%. Näin suuri haarukka selittää varmasti osansa 50% keskiarvosta.
1: Itse olen varovaisen optimistinen ja uskon että tässä MBTI -testaajan asiantuntevuus on ehkä mahdollisesti kovassakin osassa. Suuri haarukka toisaalta kertoo että MBTI -läisten sisällä on sitten, mikäli edellinen selitykseni MBTI -testin hyvyydestä ja testaajien välisistä eroista on tosi, että MBTI -ilmiö on suuruutensa vuoksi imenyt ties minkälaista koheltajaa. Ammattilaisen valinta on tarkkaa ja tämä vihjaa siihen että kenties asiaa voisi parantaa valvonnalla. Aka MBTI -kulttilaisten ammattiversion torppaamisella. Kenties tätä kautta saadaan uskottavuutta.

Ongelma ei kenties vaikuta suurelta. Moni voi ajatella että kaikki testit olisivat yhtä suurissa vaikeuksissa. Sillä kun kysytään ja toinen vastaa, niin minkäs teet. Mutta tosiasiassa tämä on valtavan tärkeä kysymys. Esimerkiksi Furnhamin "Faking personality questionnaires: Fabricating different profiles for different purposes" käsittelee sitä miten persoonallisuustestin haasteena on se, miten rehellinen vastaaja on. Ongelma on kieroimmillaan tuttu jokaiselle Hannibal Lecterin psykopaattiseikkailuista kiinnostuneelle. Tämä ovela psykiatri kun osaa vastata kaikkiin psykologisiin testeihin sopivasti. Mutta tosiasiassa valehtelun lisäksi ongelmana on itsetuntemus. Jo aikaisemmissa kritiikeissäni nostinkin esiin sen, että MBTI -testin ongelmana on aivan yleisesti tunnetusti se, että se antaa juuri niitä tuloksia joita siihen annetaan. Ja jos kyselyn tekijän motiivina on valehdella, hänen on helppo valehdella. Ja jos hänellä on huono itsetuntemus, hän valehtelee ensin itselleen ja tätä kautta testin tulkitsijalle. Esimerkiksi G. Boyle on korostanut tätä "Myers-Briggs Type Indicator (MBTI): Some psychometric limitations":issa. Tämä iskee luonnollisesti reliabiliteettiin siltä osin että hivenen eri mielentila voi muuttaa suhtautumista asioihin. Ja toisaalta validiteettiin kun testi ei mittaakaan sitä mitä se yrittää mitata. Hannibal Lecter -tyylisen ilmiön loppuun asti vie se, että Francis ja Jones tekivät psykologisen tutkimuksen "The Relationship Between the Myers-Briggs Type Indicator and the Eysenck Personality Questionnaire Among Adult Churchgoers" ja löysivät korrelaation ; J-P -linjaman tuloksilla on yhteys valehteluun ; Selitys löytyy suoraan tutkimuksesta. Jos ihminen pelkää että heillä on jotain menetettävää tai saavutettavaa, he helposti vastaavat helposti siten miten he odottavat että muut haluaisivat heidän vastaavan. Testin rakenne siis suorastaan kannustaa valehtelemaan. Toki tavalla jota voidaan vähentää siten että tämä huomioidaan. Mutta tämä huomionti kuitenkin vie tehoa tämän yhden mittarin merkitykseltä. (Siihen mihin valehdellaan annetaan vähemmän painoa ja se siitä. Kun testissä ei ole enää asioilla painoa, on kysyttävä miksi sitä enää testataan. Ei tämä arkijärjellekään ole mitään korkeaa mystiikkaa.)

Validiteetilla ei toki muutoinkaan mene hirveän lujasti. Nowackin tutkimuksessa on suoraan katsottu MBTI:n validiteettia. Kun katsotaan miten kysymyksiin vastaaminen liittyy toisiinsa, voidaan huomata että vaikka luokitus niputtaa tietyt kysymykset tiettyä kategoriaa kartoittavaksi, niihin vastaamisen kohdalla ei näytä olevan yhteyttä. Eli kun vastaat yhteen tietyllä tavalla, ei ole erityisen paljon todennäköisempää että vastaisit saman kategorian muihin kysymyksiin samalla tavalla. Kun testissä on neljä kirjainta, vain yksi niistä I-E on jotain jonka validiteetti on korkea. S-N ja T-F -luokat taas ovat hyvin heikkoja. Kun tulokset laitetaan yhteen, on hyvä muistaa mitä tapahtuu silloin kun yhteen kerrotaan useita lukuja jotka ovat alle yhden ; Kombinaation kohdalla voidaan olla todella varmoja siitä että testitulos ei joltain osin ole oikein.
* Yhtenä syynä tähän on varmasti myös se, että faktorianalyyseissä on yleensä paljastunut kaksi asiaa ; Muuttujia tarvitaan enemmän. Neljä kirjainta stereotypisoi siis liiaksi. Klustereita syntyy enemmän, joten ilmiöitä ei ole  luokiteltu oikein. Tämä on esimerkiksi Sipps, Alexander ja Friedt tekivät faktorianalyysin MBTI -testistä "Item Analysis of the Myers-Briggs Type Indicator"in tulos.
* Toisaalta MBTI -luokitelman haasteena on se, että kirjaimet eivät olekaan erillisiä vaan mittaavat samaa asiaa vaikka niitä pidetään eri asioina. Ne eivät siis paljasta niin paljoa tietoa kuin olisi tarpeen, ne tarjoavat redundanttia tietoa. McCrae ja Costa esittävät, myös faktorianalyysiä soveltaen,  "Reinterpreting the Myers-Briggs Type Indicator From the Perspective of the Five-Factor Model of Personality" miten J-P ja S-N ovat keskenään yhteydessä. Tämä herättää kysymyksiä esimerkiksi siitä miksi näitä ei sitten nivota samaan vastapariin. Kun toisaalta muihin on syytä laittaa samaan kirjaimeen asioita joiden erot ovat selviä. Costan ja McCraen tuomio on tyly "the MBTI does not give comprehensive information on the four domains it does sample".

Loppukaneetti.

MBTI -testi on selvästi tunteisiin vetoava. Ja miksi ei olisi. Horoskoopit ja monet muut ihmisiä luokittelevat järjestelmät ovat tunnetusti saavuttaneet suurta suosiota. Ihmisiä yksinkertaisesti kiinnostaa tämänlaiset asiat. Kiinnostavuus ei tietenkään tee persoonallisuustesteistä horoskooppeja. Ja itse asiassa MBTI -testikin on validimpi kuin horoskoopit. Sen vahvuus vain ei ole mainittava. Ja tämän väitteen takana uskallan todellakin seistä.
1: Ja enemmän. Sen soveltamista heikentää esimerkiksi se, että vaikka tiettyjen ihmisten yhteen pistäminen toimii intuitiossa horoskooppiparittajia myöten, MBTI -n ja ryhmätyön toimivuuden välille ei ole saatu oikein pohjaa. En kuitenkaan keskittynyt näihin soveltamisongelmiin tässä, koska siinä tekstissäni joka synnytti loukkaantumista leikin tällä ilmiöllä enemmän. Itse testi ja sen lieveilmiöt on syytä katsoa paitsi yhdessä niin myös erikseen.

Itse näkisin että MBTI -testissä on näiden lisäksi se, että se on ns. "incomplete". Eli se mittaa muutamaa piirrettä. Eikä edes kaikkia hirveän oleellisia piirteitä. (Validiteetin puuttuminen tarkoittaa että on kyseenalaista mittaako se suurelta osin yhtään mitään piirteitä. Tätä validiteetin heikkous nimittäin perimmiltään tarkoittaa.) Sitä voisi mainita, että jos testin ajateltaisiin kuitenkin toimivan ja sen J-P -skaala näyttäisi olenko organisoija vai suunnittelija, mutta samanaikaisesti ohittaa saavutuksen hakemista mittaavat temperamenttipiirteet, jotka taas tarvitaan näiden toteuttamisen tasolla. MBTI -mittari ei esimerkiksi tarkastele sellaista ilmiötä kuin "conscientiousness". Vaikka se onkin melkoisen oleellinen asia juuri sitä kautta että MBTI:tä sovelletaan työelämään ja muuhun missä ihmiset tekevät asioita. Tältä kannalta itse suosittelisin enemmän vaikkapa HEXACO -testiä. Kuten niitä muitakin tässä blogauksessa sekaan välähtäneitä muutamia.

Nähdäkseni MBTI -testin ytimessä onkin ongelma joka psykologiaa vaivaa. Psykologian perusongelma on tiivistettävissä siihen että (a) Jokainen luulee olevansa siinä hyvä. Kyökkipsykologia on jopa suositumpaa kuin internetpäteminen. (b) Psykologia on vaikea ala joka on hirvittävän kiinnostava, dynaaminen ja edistyvä. Tämä ei ole sanahelinää vaan se tarkoittaa sitä mitä tästä väistämättä seuraa. Donald Hebb on arvioinut että psykologiassa tiedon puoliintumisaika (half life of knowledge) on viisi vuotta. Toisin sanoen psykologiassa opitaan koko ajan niin paljon että viiden vuoden päästä puolet nyt opetellusta tieteellisestä tiedosta on viiden vuoden päästä joko täysin väärin tai jotain jota on pakko täydentää ja täsmentää että se on tieteelle sopivan asianmukaista. MBTI -testi taas on tässä vaiheessa luonut instituution jota on ehditty kritisoida sen kolmekymmentä vuotta. (MBTI -kritiikki ei ole uusi asia. Ja ihan ammattilaisten tekemänä.)

Valitettavasti luottamukseni ihmisten rationaalisuuteen ei ole luja. Moni nojaa perinteisiin, ja MBTI on instituutio. Jonka loukkaamiseen liittyy, kuten kommentoija demonstroi, syviä tunteita. Tunteita jotka vaativat reagoimista ja syytöksiä ad hominem -rakenteella. Siksi en usko että MBTI -testit tulevat katoamaan mihinkään. Sillä aina löytyy sellaisia ihmisiä joille aforismit ja kansansanonnat voivat toimia psykologisen ilmiön todisteena, korrelaatin ja tutkimuksen korvikkeina. Tälläisellä tiellä systeemit ovat auki kaikille jotka haluavat luoda mitä tahansa ihmistä profiloivaa. Olipa se sitten vaikka tehotonta horoskooppeilua. (MBTI on toki astetta luotettavampaa kuin horoskoopit. Se ei vain juhli luotettavuudellaan. Horoskooppien vakavastiottaminen on sen sijaan jo ihan suoraan häpeäksi. MBTI -testin tekeminen on OK. Sen fanittaminen on sen sijaan noloa, ei vielä häpeäksi, mutta noloa.)