Validiteetista

Psykometriassa on usein kysymys kyselyistä tai testiaineistosta. Tällöin yritetään joko tuottaa ilmiöitä selittävää tietoa kyselyiden avulla tai kartoittaa yksilöiden ominaisuutta teoriasta. Ideana on se, että

Havaittu testitulos = oikea ilmiö + mittaamiseen liittyvä virhe.

Validiteetilla tarkoitetaan sitä että ilmiö mittaa mitä halutaan mitata. Ja reliabiliteetti sitä että mittauksen hajonta ja muuntuminen ovat mahdollisimman pieniä. Tilanne on helposti siitä ikävä että kokonaisuus menee "heikoimman lenkin mukaan". Siksi pelkkä reliabiliteetin tarkasteleminen on oleellista. Mutta se ei vielä riitä.

Validiteetti on toisaalta hieman hankalampi asia. Monesti on oltava hyvin tarkka siitä että mitä testataan. ; Esimerkiksi huonosta validiteetista on annettu se, että joku kartoittaa ihmisissä olevaa masennusta mutta testi mittaakin sitten enemmän ahdistusta. Testi voi olla hyvä ahdistuken mittari. Ja ahdistuksen ja masennuksen välillä voi olla korrelaatiota mutta koska testi ei mittaa sitä mitä sen halutaan mittaavan, tulokset eivät kuitenkaan ole kovin laadukkaita.

Toisaalta se miten vastauksia käsitellään voi muutenkin olla kontekstisidonnaista. Jos esimerkiksi lomakkeessa kysytään sitä miten monta lasta perheessä on, voi "vaimon lapset entisestä avioliitosta" olla haasteellinen. Jos testaamisen aiheena on vaikka sosioekonominen pärjääminen voi lapsipuolen asemassa oleva lapsi oleellinen mukaanlaskettava. Mutta jos testataankin miesten hedelmällisyyttä, mukaanlaskeminen voi olla tuloksia ankarasti vääristävä. Validiteetti vaatiikin helposti koetilanteen ymmärtämistä. On helpompaa nähdä jos tulokset eivät ole konsistentteja. Tulosten heilahtelu on jotain jota voidaan laskea. (Itse olen joskus heittänyt jotain sen tapaista että "reliabiliteetista voi kikkailla läpi ihan vaan älykkyydellä mutta validiteetin tajuaminen vaatii viisautta".)

Toki validiteetissa on usein kysymys sellaisista asioista jotka on kohtuullisen helppo huomata. Tässä mielessä yksinkertaisin validiteetin luokka onkin sitä että kyselyä näytetään maallikoille ja kysytään pitävätkö he sitä mitenkään järkevänä (face validity). Toki tämän tyylinen tarkistaminen on parempi kuin ei mitään. Mutta toki tämä ei ole vielä hirvittävän vakuuttava saavutus. Siksi usein vaaditaankin että testin tarkistaja on joko asiantuntija tai kokemusasiantuntija. Esimerkiksi jonkin lääketieteellisen apuvälineen kanssa voidaan kysyä apua lääkäreiltä, potilaita tai tälläisten potilaiden omaishoitajilta (content validity). Tämä on huomattavasti vakuuttavampaa. Vaikka matematiikka ja tieteelliselle päättelylle tutut menetelmät ovatkin melko kaukana. Näkemys ja ymmärtäminen voivat kuitenkin tuottaa jotain oleellista. Vähintään tässä prosessissa "ammutaan kaikista huonoimmat ideat pois".

Toki validitettia voidaan lähestyä myös teoreettisemminkin. Tällöin kyseessä on se, että katsotaan miten yhteensopiva testin antama tulos on muiden samaa aihetta lähestyvien testien kanssa (criterion validity). Jos testi antaa toistuvasti samanlaisia tuloksia kuin muut aihetta koskevat eri metodiikalla tehdyt tutkimukset, se vihjaa että ollaan "totuuden jäljillä. Jossain tapauksessa vertailukohtana voi olla myös jokin vakiintunut "suosittu standardi", jolloin testin pitää sopia yhteen nimenomaan alaan vakiintuneimman ja arvostetuimman mittarin kanssa (concurrent validity). Itse tosin hieman karsastan tätä viimeisintä koska vaikka se asettaakin vaatimustason korkeaksi, niin tässä on kuitenkin sellainen tilanne että aiheeseen on jo hyvä testi, joten täytyy kysyä miksi tätä uutta kyselytapaa sitten edes tarvitaan. Jos standardi halutaan ylittää, joudutaan kuitenkin käyttämään muuta menettelytapaa. ; Validiteetin tarkistaminen voi tässä teemoin itse asiassa lähestyä reliabiliteetinmittauksista tuttuja keinoja. (Samalla testaamistavoilla saadaan tukea molempiin suuntiin.) Sillä validitettia voidaan testata sitä kautta miten hyvin se sopii muiden aihetta lähestyneiden testien kanssa ja miten hyvin koejärjestelmä sopii näiden kanssa yhteen kun testiä uudistetaan (convergent validity).

Toki validitettia voidaan lähestyä hyvinkin tieteellisellä otteella. Ja tällöin voidaan vaatia esimerkiksi sitä että "ennustetaan tulevaisuutta" (predictive validity). Testin avulla siis ennustetaan yhteyksiä. Teoriaa vahvistetaan tai kumotaan hypoteettis-deduktiivisesti. Tämä on vakuuttavaa mutta vaatii paljon aikaa. (Laatua harvoin saa "oikoteitä pitkin".)

Kun tätä kaikkea tehdään paljon ja apuna käytetään useiden tutkijoiden näkemystä, testitulosten runsasta tekemistä ja niiden sovelluskyvyn ja muihin testeihin sopimisen kanssa ja voidaan kalliisti, aikaa vieden saavuttaa aika hyvä näkemys siitä miten validi testi todella kaikista ankarimmillaan on (construct validity).