Empirisk evidens er oplysninger, som forskere genererer for at hjælpe med at afdække svar på spørgsmål, der kan have betydelige konsekvenser for vores samfund.
Tag sikkerhedsseler på. Før de blev opfundet, blev folk dræbt eller lemlæstet i det, som vi i dag ville betragte som mindre trafikulykker. Så kloge ingeniører satte deres hoveder sammen for at forsøge at gøre noget ved det.
Lad os prøve at binde folk fast! Lad os ændre, hvad rattet er lavet af! Lad os sætte en eksplosiv luftpose i rattet! (Forestil dig, hvor skørt det lød på et pitch-møde.) Det virker alle som fornuftige idéer (bortset fra den med den eksplosive luftpose), så hvordan ved vi, hvilken idé vi skal gøre?
Svaret er at generere og afveje empiriske beviser.
Teori vs. empiriske beviser
Man kan have en teori om, hvordan noget vil forløbe, men det, man observerer eller oplever, kan være anderledes end det, som teorien forudsiger. Folk ønsker at kende effektiviteten af alle mulige ting, hvilket betyder, at de er nødt til at teste dem.
Samfundsforskere producerer empiriske beviser på en række forskellige måder for at teste teorier og måle A’s evne til at producere et forventet resultat: B.
Sædvanligvis indsamler forskere data gennem direkte eller indirekte observation, og de analyserer disse data for at besvare empiriske spørgsmål (spørgsmål, der kan besvares gennem observation).
Lad os se på vores eksempel med bilsikkerhed. Ingeniører og forskere udstyrede biler med forskellige sikkerhedsanordninger i forskellige konfigurationer og smadrede dem derefter ind i vægge, pæle og andre biler og registrerede, hvad der skete. Med tiden kunne de finde ud af, hvilke typer sikkerhedsanordninger der virkede, og hvilke der ikke virkede. Det viser sig, at hele det med airbaggen ikke var så tosset alligevel.
De fik ikke alting rigtigt med det samme. For eksempel var de tidlige sikkerhedsseler ikke optrækkelige. Nogle airbags skød metalstykker ind i passagererne. Men i perioder blev bilsikkerheden bedre, og selv om folk kører flere og flere kilometer, dør færre og færre i trafikken.
Hvordan indsamling af empirisk bevismateriale inden for samfundsvidenskab er anderledes
Testning af virkningerne af f.eks. en offentlig politik på en gruppe mennesker bringer os ind på samfundsvidenskabens område.
For eksempel er uddannelsesforskning ikke det samme som bilforskning, fordi børn (mennesker) ikke er biler (genstande). Uddannelse kan imidlertid gøres bedre ved at forsøge nye ting, indsamle data om disse bestræbelser, nøje analysere disse data og derefter afveje alle tilgængelige empiriske beviser for at se, om disse nye ting opnår det, vi håber, de gør.
Det “nøje analyserende” er desværre ofte en mangelvare i uddannelsesforskningen. I bilingeniørernes laboratorier er man meget omhyggelig med kun at ændre én del af designet (en variabel) ad gangen, så hver test isolerer den individuelle faktor, der gør en bil mere eller mindre sikker. OK, i denne test ændrer vi bare rattets materiale og lader alt andet være det samme, så vi ved, om det er rattet, der skader folk.
Sammenligning af æbler med æbler
I samfundsvidenskab og især inden for uddannelse er det en udfordring at forsøge at isolere variabler, men det er muligt, hvis forskerne kan foretage sammenligninger “fra æble til æble”.
Den bedste måde at få en sammenligning fra æble til æble på er ved at udføre noget, der kaldes et randomiseret kontrolforsøg (RCT). Du har måske hørt om disse i forbindelse med afprøvning af medicin. Ved afprøvning af lægemidler anvendes RCT’er hele tiden.
I et RCT på uddannelsesområdet opdeles eleverne i to grupper ved hjælp af et tilfældigt lotteri, og halvdelen af eleverne modtager hvad end den pædagogiske “behandling” er (et nyt læseprogram, en ændret tilgang til disciplin, en skolekupon osv.), mens den anden gruppe ikke modtager den. Forskerne sammenligner resultaterne for de to grupper og vurderer “behandlings”-effekten. Denne fremgangsmåde giver os sikkerhed for, at den observerede effekt skyldes interventionen og ikke andre faktorer.
RCT’er er ikke altid mulige. Nogle gange kan forskerne komme tæt på ved at bruge tilfældige begivenheder, der adskiller børn i to grupper, f.eks. skoledistriktsgrænser, der er skabt af floder eller vandløb, som deler et samfund mere eller mindre tilfældigt, eller fødselsdagsgrænser for førskoleundervisning, der placerer et barn født den 31. august i en klasse og et barn født den 1. september i en anden klasse, selv om der stort set ikke er nogen forskel mellem dem. Afhængigt af hændelsens nøjagtige karakter kan disse analyser kaldes “regressionsdiskontinuitetsanalyser” eller “instrumentalvariabelanalyser”, og de kan være nyttige værktøjer til at estimere virkningerne af et program.
Forskere kan også følge individuelle børn, der modtager en behandling, hvis de har data fra før og efter for at se, hvordan barnets uddannelsesforløb ændrer sig over tid. Disse er kendt som analyser med “faste effekter”.
Alle tre af disse – randomiserede kontrolforsøg, regressionsdiskontinuitetsanalyser og analyser med faste effekter – har deres ulemper.
Svært få udefrakommende begivenheder er virkelig tilfældige. Hvis forskerne, som regressionsdiskontinuitetsanalyser ofte gør, kun ser på børn lige over eller lige under cutoff-grænsen, eller hvis forskerne, som analyser med faste effekter ofte gør, kun ser på de børn, der skifter fra en skole til en anden, er disse børn måske ikke repræsentative for befolkningen. Hvordan ville en intervention påvirke børn, der ikke befinder sig tæt på en grænse eller en grænse? Eller børn, der ikke skifter skole?
I nedenstående SlideShare præsenterer vi empirisk evidens baseret på stringent forskning om private skolevalgsprogrammer som et eksempel på, hvordan vi som akademikere og forskere selv identificerer og karakteriserer den empiriske evidens af høj kvalitet inden for et givet undersøgelsesområde.
Et par overvejelser
Det er meget at vade igennem, så inden du gør det, vil vi gerne komme med to bemærkninger.
For det første er det altid vigtigt at forstå afvejningerne mellem intern og ekstern validitet.
Intern validitet henviser til, hvor godt en undersøgelse er udført – det giver os tillid til, at de effekter, vi observerer, kan tilskrives interventionen eller programmet og ikke andre faktorer.
For eksempel, da den føderale regering ønskede at vide, om Washington, D.C.’s skolekuponprogram øgede elevernes resultater i læse- og matematikprøver, tog forskerne de 2.308 elever, der søgte om deltagelse i programmet, og fordelte tilfældigt 1.387 elever til at få kuponer og 921 til ikke at få kuponer. Derefter fulgte de de to grupper over tid, og da de analyserede resultaterne, kunne de med rimelighed konkludere, at eventuelle forskelle skyldtes tilbuddet om en voucher, fordi det er det eneste, der var forskelligt mellem de to grupper, og de var kun forskellige på grund af tilfældigheder. Denne undersøgelse havde en høj intern validitet.
Extern validitet henviser til det omfang, i hvilket vi kan generalisere resultaterne fra en undersøgelse til andre sammenhænge.
Lad os tænke på den samme undersøgelse. D.C.-programmet var unikt. Den mængde penge, som eleverne modtager, de regler, som de deltagende skoler skulle acceptere, programmets størrelse, dets politisk prekære situation og talrige andre faktorer var anderledes i dette program end i andre, for ikke at nævne det faktum, at Washington, D.C. ikke er repræsentativt for USA som helhed demografisk, politisk eller på virkelig enhver måde, vi kan forestille os. Som følge heraf skal vi være forsigtige, når vi forsøger at generalisere resultaterne. Undersøgelsen har lavere ekstern validitet.
For at bekæmpe problemer omkring lavere ekstern validitet kan forskere indsamle og analysere empiriske beviser om programdesignet for at forstå dets virkning. Vi kan også se på flere undersøgelser for at se, hvordan lignende interventioner påvirker elever i forskellige miljøer.
For det andet er respekten for og brugen af forskning ikke ensbetydende med teknokrati. Forskning og ekspertise er utrolig nyttig. Når man sætter sig ind i et fly eller går ind til en operation, ønsker man, at den person, der udfører arbejdet, skal være ekspert. Empiriske beviser kan hjælpe os med at få mere viden om verden og blive bedre til det, vi gør. Men vi bør også udvise tilbageholdenhed og ydmyghed ved at anerkende samfundsvidenskabens begrænsninger.
Public policy indebærer afvejning af afvejninger, som samfundsvidenskaben ikke kan foretage for os. Samfundsvidenskaben kan fortælle os, at et program øger læseresultaterne, men også øger angst og depression hos børn. Skal det program have lov til at fortsætte? I sidste ende er det et spørgsmål om menneskelig vurdering og værdier. Det bør vi aldrig glemme.