Empiirinen todistusaineisto on tietoa, jota tutkijat tuottavat auttaakseen löytämään vastauksia kysymyksiin, joilla voi olla merkittäviä vaikutuksia yhteiskuntaamme.
Kytke turvavyöt. Ennen niiden keksimistä ihmisiä kuoli tai vammautui sellaisissa onnettomuuksissa, joita nykyään pitäisimme vähäisinä liikenneonnettomuuksina. Niinpä fiksut insinöörit laittoivat päänsä yhteen ja yrittivät tehdä asialle jotain.
Kokeillaan sitoa ihmiset kiinni! Muutetaan, mistä ohjauspyörä on tehty! Laitetaan rattiin räjähtävä ilmapussi! (Kuvittele, miten hullulta tuo kuulosti pitchauskokouksessa.) Nämä kaikki vaikuttavat järkeviltä ideoilta (paitsi tuo räjähtävä ilmapussi), joten mistä tiedämme, mikä pitäisi tehdä?
Vastaus on empiirisen todistusaineiston tuottaminen ja punnitseminen.
Teoria vs. empiirinen todistusaineisto
Jollakulla voi olla teoria siitä, miten jokin asia toteutuu, mutta se, mitä ihminen havainnoi tai kokee, voi poiketa siitä, mitä teoria voisi ennustaa. Ihmiset haluavat tietää kaikenlaisten asioiden tehokkuuden, mikä tarkoittaa, että niitä on testattava.
Sosiaalitieteilijät tuottavat empiiristä todistusaineistoa monin eri tavoin testatakseen teorioita ja mitatakseen A:n kykyä tuottaa odotettu tulos: B.
Tutkijat keräävät yleensä tietoja suoralla tai epäsuoralla havainnoinnilla, ja he analysoivat näitä tietoja vastatakseen empiirisiin kysymyksiin (kysymyksiin, joihin voidaan vastata havainnoinnin avulla).
Katsotaanpa esimerkkiä auton turvallisuudesta. Insinöörit ja tutkijat varustivat autot erilaisilla turvalaitteilla eri kokoonpanoissa, törmäyttivät ne sitten seiniin, pylväisiin ja muihin autoihin ja kirjasivat ylös, mitä tapahtui. Ajan myötä he saivat selville, minkälaiset turvalaitteet toimivat ja minkälaiset eivät. Kuten kävi ilmi, koko turvatyynyjuttu ei ollutkaan niin hullu.
Kaikkea ei saatu heti kuntoon. Esimerkiksi varhaiset turvavyöt eivät olleet sisäänvedettäviä. Jotkut turvatyynyt ampuivat metallinpaloja matkustajiin. Autojen turvallisuus parani kuitenkin pikkuhiljaa, ja vaikka ihmiset ajavat yhä enemmän kilometrejä, yhä harvempi kuolee tiellä.
Miten empiirisen todistusaineiston kerääminen yhteiskuntatieteissä on erilaista
Testata vaikkapa julkisen politiikan vaikutuksia ihmisryhmään asettaa meidät yhteiskuntatieteiden alueelle.
Kasvatustutkimus ei esimerkiksi ole sama asia kuin autotutkimus, koska lapset (ihmiset) eivät ole autoja (esineitä). Koulutusta voidaan kuitenkin parantaa kokeilemalla uusia asioita, keräämällä tietoja näistä ponnisteluista, analysoimalla tiukasti näitä tietoja ja punnitsemalla sitten kaikkia saatavilla olevia empiirisiä todisteita sen selvittämiseksi, saavuttavatko nämä uudet asiat sen, mitä toivomme niiden saavuttavan.
Kasvatustutkimuksesta puuttuu valitettavasti usein tuo ”tiukan analyysin” osuus. Autoinsinöörien laboratorioissa pidetään tarkasti huolta siitä, että muutetaan vain yhtä osaa suunnittelusta (muuttujaa) kerrallaan, jotta jokainen testi eristää yksittäisen tekijän, joka tekee autosta enemmän tai vähemmän turvallisen. Okei, muutetaan tässä testissä vain ohjauspyörän materiaalia ja pidetään kaikki muu ennallaan, jotta tiedämme, vahingoittaako juuri ohjauspyörä ihmisiä.
Vertaillaan omenoita omenoihin
Yhteiskuntatieteissä ja erityisesti kasvatustieteissä muuttujien eristäminen on haastavaa, mutta mahdollista, jos tutkijat pystyvät tekemään ”omenoista omenoihin” -vertailuja.
Paras tapa saada aikaan vertailu omenoista omenoihin on suorittaa niin sanottu satunnaistettu kontrollitutkimus. Olet ehkä kuullut näistä lääketieteen testauksen yhteydessä. Lääkkeiden testauksessa käytetään RCT:tä koko ajan.
Kasvatuksellisessa RCT:ssä oppilaat jaetaan kahteen ryhmään satunnaistetun arvonnan avulla, ja puolet oppilaista saa mitä tahansa kasvatuksellista ”hoitoa” (uutta lukemisohjelmaa, muutosta kurinpitoon liittyvässä lähestymistavassa, koulusetelin jne. Tutkijat vertailevat näiden kahden ryhmän tuloksia ja arvioivat ”hoidon” vaikutusta. Tämä lähestymistapa antaa meille varmuuden siitä, että havaittu vaikutus johtuu interventiosta eikä muista tekijöistä.
RCT:t eivät aina ole mahdollisia. Joskus tutkijat pääsevät lähelle käyttämällä satunnaisia tapahtumia, jotka jakavat lapset kahteen ryhmään, kuten jokien tai purojen luomat koulupiirirajat, jotka jakavat yhteisön enemmän tai vähemmän sattumalta, tai esikoulun syntymäpäivärajat, jotka sijoittavat 31. elokuuta syntyneen lapsen yhdelle luokka-asteelle, mutta 1. syyskuuta syntyneen toiselle luokalle, vaikka niiden välillä ei periaatteessa ole mitään eroa. Tapahtuman tarkasta luonteesta riippuen näitä voidaan kutsua ”regression epäjatkuvuusanalyyseiksi” tai ”instrumentaalimuuttuja-analyyseiksi”, ja ne voivat olla hyödyllisiä välineitä ohjelman vaikutusten arvioimiseksi.
Tutkijat voivat myös seurata yksittäisiä lapsia, jotka ovat saaneet hoitoa, jos heillä on tietoja ennen ja jälkeen sen, jotta he voivat nähdä, miten lapsen koulutuksellinen kehitys muuttuu ajan myötä. Näitä kutsutaan ”kiinteiden vaikutusten” analyyseiksi.
Kaikissa kolmessa näistä – satunnaistetuissa kontrollikokeissa, regression epäjatkuvuusanalyyseissä ja kiinteiden vaikutusten analyyseissä – on omat haittapuolensa.
Vähän harvat ulkoiset tapahtumat ovat todella satunnaisia. Jos, kuten regression epäjatkuvuusanalyysissä usein tehdään, tutkijat tarkastelevat vain lapsia, jotka ovat juuri raja-arvon ylä- tai alapuolella, tai, kuten kiinteiden vaikutusten analyysissä usein tehdään, tutkijat tarkastelevat vain niitä lapsia, jotka vaihtavat koulusta toiseen, nämä lapset eivät välttämättä edusta perusjoukkoa. Miten interventio vaikuttaisi lapsiin, jotka eivät ole lähellä raja-arvoa? Tai lapsiin, jotka eivät vaihda koulua?
Oheisessa SlideShare-julkaisussa esittelemme yksityisiä kouluvalintaohjelmia koskevaan tiukkaan tutkimukseen perustuvaa empiiristä näyttöä esimerkkinä siitä, miten me akateemikkoina ja tutkijoina itse tunnistamme ja luonnehdimme laadukasta empiiristä näyttöä tietyllä tutkimusalalla.
Pari pohdintaa
Tässä on paljon läpikäytävää, joten ennen sitä haluaisimme esittää kaksi huomautusta.
Ensiksi on aina tärkeää ymmärtää sisäisen ja ulkoisen validiteetin väliset kompromissit.
Sisäisellä validiteetilla tarkoitetaan sitä, miten hyvin tutkimus on toteutettu – se antaa meille varmuuden siitä, että havaitsemamme vaikutukset voivat johtua interventiosta tai ohjelmasta, eivät muista tekijöistä.
Kun esimerkiksi liittovaltion hallitus halusi tietää, paransiko Washingtonin kouluseteliohjelma oppilaiden lukemisen ja matematiikan koetuloksia, tutkijat ottivat 2 308 oppilasta, jotka hakivat ohjelmaan, ja määrittivät satunnaisotannalla 1 387 oppilasta saamaan opintoseteleitä ja 921 oppilasta, jotka eivät saaneet niitä. Tämän jälkeen he seurasivat näitä kahta ryhmää ajan mittaan, ja kun he analysoivat tuloksia, he saattoivat kohtuudella päätellä, että mahdolliset erot johtuivat opintosetelin tarjoamisesta, koska se oli ainoa asia, joka erosi näiden kahden ryhmän välillä, ja ne erosivat toisistaan vain satunnaisen sattuman vuoksi. Tällä tutkimuksella oli korkea sisäinen validiteetti.
Ulkoinen validiteetti viittaa siihen, missä määrin voimme yleistää tutkimuksen tulokset muihin tilanteisiin.
Ajatellaanpa tuota samaa tutkimusta. Washingtonin ohjelma oli ainutlaatuinen. Oppilaiden saama rahamäärä, määräykset, joihin osallistuvien koulujen oli suostuttava, ohjelman koko, poliittisesti epävarma tilanne ja lukuisat muut tekijät poikkesivat tuossa ohjelmassa muista, puhumattakaan siitä, että Washington D.C. ei edusta demografisesti, poliittisesti tai oikeastaan millään muullakaan tavalla, jota voimme kuvitella, koko Yhdysvaltoja. Näin ollen meidän on oltava varovaisia, kun yritämme yleistää tuloksia. Tutkimuksen ulkoinen validiteetti on vähäisempi.
Voidakseen torjua vähäisempään ulkoiseen validiteettiin liittyviä ongelmia tutkijat voivat kerätä ja analysoida empiiristä näyttöä ohjelmasuunnittelusta ymmärtääkseen sen vaikutuksia. Voimme myös tarkastella useita tutkimuksia nähdäksemme, miten samankaltaiset interventiot vaikuttavat oppilaisiin eri ympäristöissä.
Toiseksi, tutkimuksen kunnioittaminen ja käyttö ei tue teknokratiaa. Tutkimus ja asiantuntemus ovat uskomattoman hyödyllisiä. Kun nouset lentokoneeseen tai suuntaat leikkaukseen, haluat, että työtä tekevä henkilö on asiantuntija. Empiirinen näyttö voi auttaa meitä tietämään enemmän maailmasta ja olemaan parempia siinä, mitä teemme. Meidän on kuitenkin myös oltava maltillisia ja nöyriä ja tunnustettava yhteiskuntatieteiden rajat.
Julkisessa politiikassa on punnittava kompromisseja, joita yhteiskuntatieteet eivät voi tehdä puolestamme. Yhteiskuntatieteet voivat kertoa meille, että ohjelma parantaa lukupisteitä mutta lisää myös lasten ahdistuneisuutta ja masennusta. Pitäisikö tuon ohjelman antaa jatkua? Viime kädessä kyse on ihmisten arvostelukyvystä ja arvoista. Sitä ei pidä koskaan unohtaa.