Empiriska bevis är information som forskare genererar för att hjälpa till att hitta svar på frågor som kan ha stor betydelse för vårt samhälle.
Ta på dig säkerhetsbältena. Innan de uppfanns dödades eller lemlästades människor i vad vi i dag skulle betrakta som mindre trafikolyckor. Så smarta ingenjörer slog sina huvuden ihop för att försöka göra något åt saken.
Låt oss försöka binda fast människor! Låt oss ändra vad ratten är gjord av! Låt oss sätta en explosiv luftpåse i ratten! (Föreställ dig hur galet det lät på ett pitch-möte.) Alla dessa idéer verkar rimliga (förutom den där explosiva luftkudden), så hur vet vi vilken vi ska göra?
Svaret är att generera och väga empiriska bevis.
Teori vs. empiriska bevis
Det kan hända att man har en teori om hur något kommer att gå till, men det som man observerar eller upplever kan skilja sig från det som teorin kan förutsäga. Människor vill veta hur effektiva alla möjliga saker är, vilket innebär att de måste testa dem.
Samhällsvetare producerar empiriska bevis på olika sätt för att testa teorier och mäta A:s förmåga att ge ett förväntat resultat: B.
I vanliga fall samlar forskare in data genom direkt eller indirekt observation, och de analyserar dessa data för att besvara empiriska frågor (frågor som kan besvaras genom observation).
Låt oss titta på vårt exempel på bilsäkerhet. Ingenjörer och forskare utrustade bilar med olika säkerhetsanordningar i olika konfigurationer och körde sedan in dem i väggar, stolpar och andra bilar och registrerade vad som hände. Med tiden kunde de ta reda på vilka typer av säkerhetsanordningar som fungerade och vilka som inte fungerade. Det visar sig att hela den där airbaggrejen inte var så tokig trots allt.
De fick inte allting rätt med en gång. De första säkerhetsbältena var till exempel inte upprullningsbara. Vissa krockkuddar sköt metallbitar in i passagerarna. Men med jämna mellanrum blev bilsäkerheten bättre, och även om människor kör allt fler mil dör allt färre i trafiken.
Hur insamling av empiriska bevis inom samhällsvetenskapen skiljer sig åt
Att testa effekterna av, låt oss säga, en offentlig politik på en grupp människor placerar oss på samhällsvetenskapens område.
För att nämna ett exempel så är utbildningsforskning inte samma sak som fordonsforskning, eftersom barn (människor) inte är bilar (objekt). Utbildning kan dock förbättras genom att man försöker sig på nya saker, samlar in data om dessa ansträngningar, analyserar dessa data noggrant och sedan väger alla tillgängliga empiriska bevis för att se om dessa nya saker åstadkommer det vi hoppas att de gör.
Tyvärr saknas ofta den där biten ”noggrant analysera” i utbildningsforskningen. I bilingenjörernas laboratorier är man mycket noga med att bara ändra en del av konstruktionen (en variabel) i taget så att varje test isolerar den enskilda faktor som gör en bil mer eller mindre säker. Okej, för det här testet ändrar vi bara rattens material och behåller allt annat oförändrat, så att vi vet om det är ratten som skadar människor.
Varje gång man jämför äpplen med äpplen
Inom samhällsvetenskapen, och särskilt inom utbildningen, är det en utmaning att försöka isolera variablerna, men det är möjligt om forskarna kan göra ”äpplen-till-äpplen”-jämförelser.
Det bästa sättet att få en ”äpplen-till-äpplen”-jämförelse är att utföra något som kallas för en randomiserad kontrollstudie (RCT). Du kanske har hört talas om dessa i samband med prövning av läkemedel. Vid läkemedelstestning används RCT:er hela tiden.
I en utbildnings-RCT delas eleverna in i två grupper genom ett slumpmässigt lotteri och hälften av eleverna får vad som helst av den pedagogiska ”behandlingen” (ett nytt läsprogram, en förändring av förhållningssättet till disciplin, en skolkupong etc.) medan den andra gruppen inte får det. Forskarna jämför resultaten i de två grupperna och uppskattar ”behandlingseffekten”. Detta tillvägagångssätt ger oss förtroende för att den observerade effekten orsakas av interventionen och inte av andra faktorer.
RCT:er är inte alltid möjliga. Ibland kan forskarna komma nära genom att använda slumpmässiga händelser som skiljer barn åt i två grupper, t.ex. gränser för skoldistrikt som skapas av floder eller bäckar som delar upp ett samhälle mer eller mindre slumpmässigt eller födelsedagsgränser för förskolan som placerar ett barn som är fött den 31 augusti i en klass och ett barn som är fött den 1 september i en annan klass, även om det i princip inte finns någon skillnad mellan dem. Beroende på händelsens exakta karaktär kan dessa analyser kallas ”regressionsdiskontinuitetsanalyser” eller ”instrumentella variabelanalyser”, och de kan vara användbara verktyg för att uppskatta effekterna av ett program.
Forskare kan också följa enskilda barn som får en behandling om de har uppgifter från före och efter för att se hur barnets utbildningsbana förändras över tiden. Dessa är kända som analyser med ”fasta effekter”.
Alla tre av dessa – randomiserade kontrollförsök, regressionskontinuitetsanalyser och analyser med fasta effekter – har sina nackdelar.
Väldigt få yttre händelser är verkligen slumpmässiga. Om forskare, som regressionskopplingsanalyser ofta gör, endast tittar på barn som ligger precis över eller precis under gränsen, eller om forskare, som analyser med fasta effekter ofta gör, endast tittar på de barn som byter från en skola till en annan, kan det hända att dessa barn inte är representativa för populationen. Hur skulle ett ingripande påverka barn som inte befinner sig nära en gräns? Eller barn som inte byter skola?
I SlideShare nedan presenterar vi empiriska bevis baserade på rigorös forskning om privata skolvalsprogram som ett exempel på hur vi, som akademiker och forskare själva, identifierar och karakteriserar de högkvalitativa empiriska bevisen inom ett visst studieområde.
Ett par överväganden
Det är mycket att vada igenom, så innan du gör det vill vi ge dig två noteringar.
För det första är det alltid viktigt att förstå avvägningarna mellan intern och extern validitet.
Intern validitet hänvisar till hur väl en studie är genomförd – den ger oss förtroende för att de effekter som vi observerar kan tillskrivas interventionen eller programmet och inte andra faktorer.
När den federala regeringen till exempel ville veta om Washingtons skolkupongprogram ökade elevernas resultat i läs- och matematiktest, tog forskarna de 2 308 elever som ansökte om att få delta i programmet och fördelade slumpmässigt 1 387 elever som skulle få kupongerna och 921 som inte skulle få det. De följde sedan de två grupperna över tid, och när de analyserade resultaten kunde de rimligen dra slutsatsen att eventuella skillnader berodde på erbjudandet om kupong, eftersom det var det enda som skiljde sig mellan de två grupperna och de skiljde sig bara på grund av slumpen. Denna studie hade hög intern validitet.
Extern validitet avser i vilken utsträckning vi kan generalisera resultaten från en studie till andra miljöer.
Vi kan tänka på samma studie. D.C.-programmet var unikt. Den summa pengar som eleverna får, de regler som de deltagande skolorna var tvungna att gå med på, programmets storlek, dess politiskt prekära situation och många andra faktorer var annorlunda i det programmet än i andra, för att inte tala om det faktum att Washington DC inte är representativt för USA som helhet demografiskt, politiskt eller egentligen på något annat sätt som vi kan föreställa oss. Därför måste vi vara försiktiga när vi försöker generalisera resultaten. Studien har lägre extern validitet.
För att bekämpa frågor kring lägre extern validitet kan forskare samla in och analysera empiriska bevis på programutformningen för att förstå dess inverkan. Vi kan också titta på flera studier för att se hur liknande interventioner påverkar elever i olika miljöer.
För det andra innebär respekten för och användningen av forskning inte ett stöd för teknokrati. Forskning och expertis är otroligt användbar. När du sätter dig på ett flygplan eller går in på en operation vill du att den person som utför arbetet ska vara expert. Empiriska bevis kan hjälpa oss att veta mer om världen och bli bättre på det vi gör. Men vi bör också visa återhållsamhet och ödmjukhet genom att erkänna samhällsvetenskapens begränsningar.
Public policy innebär avvägningar som samhällsvetenskapen inte kan göra åt oss. Samhällsvetenskapen kan tala om för oss att ett program ökar läsresultaten men också ökar ångest och depression hos barn. Bör det programmet tillåtas fortsätta? I slutändan handlar det om mänskliga bedömningar och värderingar. Det får aldrig glömmas bort.