L’evidenza empirica è l’informazione che i ricercatori generano per aiutare a scoprire risposte a domande che possono avere implicazioni significative per la nostra società.
Prendi le cinture di sicurezza. Prima della loro invenzione, le persone venivano uccise o mutilate in quelli che oggi considereremmo incidenti stradali minori. Così ingegneri intelligenti hanno messo insieme le loro teste per cercare di fare qualcosa al riguardo.
Proviamoci a legare le persone! Cambiamo il materiale di cui è fatto il volante! Mettiamo un sacchetto d’aria esplosivo nel volante! (Queste sembrano tutte idee ragionevoli (tranne quella dell’airbag esplosivo), quindi come facciamo a sapere quale dovremmo fare?
La risposta è generare e pesare prove empiriche.
Teoria contro prove empiriche
Si può avere una teoria su come si svolgerà qualcosa, ma ciò che si osserva o si sperimenta può essere diverso da ciò che una teoria potrebbe prevedere. La gente vuole conoscere l’efficacia di ogni sorta di cose, il che significa che deve testarle.
Gli scienziati sociali producono prove empiriche in una varietà di modi per testare le teorie e misurare la capacità di A di produrre un risultato atteso: B.
Di solito, i ricercatori raccolgono dati attraverso l’osservazione diretta o indiretta, e analizzano questi dati per rispondere a domande empiriche (domande a cui si può rispondere attraverso l’osservazione).
Guardiamo il nostro esempio sulla sicurezza delle auto. Ingegneri e scienziati hanno equipaggiato le auto con vari dispositivi di sicurezza in varie configurazioni, poi le hanno sbattute contro muri, pali e altre auto e hanno registrato quello che è successo. Con il tempo, sono stati in grado di capire quali tipi di dispositivi di sicurezza hanno funzionato e quali no. Come si è scoperto, l’intera faccenda dell’airbag non era così folle dopo tutto.
Non hanno capito tutto subito. Per esempio, le prime cinture di sicurezza non erano retrattili. Alcuni airbag sparavano pezzi di metallo nei passeggeri. Ma, a tratti, la sicurezza delle auto è migliorata, e anche se la gente guida sempre più miglia, sempre meno muoiono sulla strada.
Testare gli effetti di, diciamo, una politica pubblica su un gruppo di persone ci mette nel territorio delle scienze sociali.
Per esempio, la ricerca sull’educazione non è la stessa della ricerca automobilistica perché i bambini (persone) non sono automobili (oggetti). L’educazione, però, può essere migliorata tentando cose nuove, raccogliendo dati su questi sforzi, analizzando rigorosamente quei dati e poi soppesando tutte le prove empiriche disponibili per vedere se queste nuove cose realizzano ciò che speriamo facciano.
Purtroppo, la parte “analizzare rigorosamente” spesso manca nella ricerca sull’educazione. Nei laboratori degli ingegneri automobilistici, si fa molta attenzione a cambiare solo un pezzo di design (una variabile) alla volta in modo che ogni test isoli il singolo fattore che rende un’auto più o meno sicura. Ok, per questo test, cambiamo solo il materiale del volante e manteniamo tutto il resto uguale, così sapremo se è il volante che fa male alle persone.
Confrontare mele con mele
Nelle scienze sociali e specialmente nell’educazione, cercare di isolare le variabili è impegnativo, ma possibile, se i ricercatori possono fare confronti “mele con mele”.
Il modo migliore per ottenere un confronto mele con mele è eseguire qualcosa chiamato studio di controllo randomizzato (RCT). Potreste averne sentito parlare in relazione alla sperimentazione della medicina. I test sui farmaci usano sempre gli RCT.
In un RCT educativo, gli studenti sono divisi in due gruppi da una lotteria randomizzata e metà degli studenti ricevono qualsiasi sia il “trattamento” educativo (un nuovo programma di lettura, un cambiamento nell’approccio alla disciplina, un buono scolastico, ecc) mentre l’altro no. I ricercatori confrontano i risultati di questi due gruppi e stimano l’effetto del “trattamento”. Questo approccio ci dà la certezza che l’effetto osservato sia causato dall’intervento e non da altri fattori.
I rct non sono sempre possibili. A volte i ricercatori possono avvicinarsi usando eventi casuali che separano i bambini in due gruppi, come i confini dei distretti scolastici creati da fiumi o torrenti che dividono una comunità più o meno casualmente o i limiti di compleanno per la scuola materna che mettono un bambino nato il 31 agosto in una classe e uno nato il 1° settembre in un’altra anche se non c’è fondamentalmente alcuna differenza tra loro. A seconda della natura esatta dell’evento, queste possono essere conosciute come analisi di “discontinuità di regressione” o di “variabile strumentale”, e possono essere strumenti utili per stimare gli effetti di un programma.
I ricercatori possono anche seguire i singoli bambini che ricevono un trattamento se hanno dati da prima e dopo per vedere come la traiettoria educativa di quel bambino cambia nel tempo. Queste sono conosciute come analisi a “effetti fissi”.
Tutti e tre questi metodi – studi di controllo randomizzati, analisi di discontinuità della regressione e analisi a effetti fissi – hanno i loro svantaggi.
Molto pochi eventi esterni sono veramente casuali. Se, come spesso fa l’analisi di discontinuità della regressione, i ricercatori guardano solo i bambini appena sopra o appena sotto il cutoff, o, come spesso fa l’analisi a effetti fissi, i ricercatori guardano solo quei bambini che passano da una scuola all’altra, quei bambini potrebbero non essere rappresentativi della popolazione. Come influirebbe un intervento sui bambini che non sono vicini a un cutoff o a un confine? O i bambini che non cambiano scuola?
Nello SlideShare qui sotto, presentiamo l’evidenza empirica basata su una ricerca rigorosa sui programmi di scelta della scuola privata come esempio di come noi stessi, come accademici e ricercatori, identifichiamo e caratterizziamo l’evidenza empirica di alta qualità in una data area di studio.
Un paio di considerazioni
C’è molto da leggere, quindi prima di farlo, vorremmo offrire due note.
In primo luogo, è sempre importante capire i compromessi tra validità interna ed esterna.
La validità interna si riferisce a quanto bene è condotto uno studio – ci dà fiducia che gli effetti che osserviamo possono essere attribuiti all’intervento o al programma, non ad altri fattori.
Per esempio, quando il governo federale voleva sapere se il programma di buoni scolastici di Washington D.C. aumentava i punteggi dei test di lettura e matematica degli studenti, i ricercatori hanno preso i 2.308 studenti che hanno fatto domanda per il programma e ne hanno assegnati casualmente 1.387 a ricevere i buoni e 921 a non riceverli. Hanno poi seguito i due gruppi nel tempo, e quando hanno analizzato i risultati, hanno potuto ragionevolmente concludere che qualsiasi differenza era dovuta all’offerta di un voucher, perché questa è l’unica cosa che era diversa tra i due gruppi ed erano diversi solo a causa del caso. Questo studio aveva un’alta validità interna.
La validità esterna si riferisce alla misura in cui possiamo generalizzare i risultati di uno studio ad altre impostazioni.
Pensiamo allo stesso studio. Il programma di Washington era unico. La quantità di denaro che gli studenti ricevono, i regolamenti che le scuole partecipanti dovevano accettare, la dimensione del programma, la sua situazione politicamente precaria e numerosi altri fattori erano diversi in quel programma rispetto ad altri, per non parlare del fatto che Washington, D.C. non è rappresentativa degli Stati Uniti nel loro complesso demograficamente, politicamente o in qualsiasi modo si possa immaginare. Di conseguenza, dobbiamo essere cauti quando cerchiamo di generalizzare i risultati. Lo studio ha una bassa validità esterna.
Per combattere i problemi di bassa validità esterna, i ricercatori possono raccogliere e analizzare le prove empiriche sul design del programma per capire il suo impatto. Possiamo anche guardare a studi multipli per vedere come interventi simili influenzano gli studenti in ambienti diversi.
In secondo luogo, il rispetto e l’uso della ricerca non avalla la tecnocrazia. La ricerca e la competenza sono incredibilmente utili. Quando si sale su un aereo o si va in chirurgia, si vuole che la persona che sta facendo il lavoro sia un esperto. L’evidenza empirica può aiutarci a sapere di più sul mondo e ad essere migliori in quello che facciamo. Ma dovremmo anche esercitare moderazione e umiltà riconoscendo i limiti della scienza sociale.
La politica pubblica comporta la valutazione di compromessi che la scienza sociale non può fare per noi. La scienza sociale può dirci che un programma aumenta i punteggi di lettura ma anche l’ansia e la depressione nei bambini. Dovrebbe essere permesso a quel programma di continuare? In definitiva, questo si riduce al giudizio umano e ai valori. Questo non dovrebbe mai essere dimenticato.