Dovezile empirice sunt informații pe care cercetătorii le generează pentru a ajuta la descoperirea de răspunsuri la întrebări care pot avea implicații semnificative pentru societatea noastră.
Puneți-vă centurile de siguranță. Înainte de inventarea lor, oamenii erau uciși sau mutilați în ceea ce astăzi am considera accidente rutiere minore. Așa că inginerii deștepți și-au pus mintea la contribuție pentru a încerca să facă ceva în acest sens.
Să încercăm să legăm oamenii! Să schimbăm din ce este făcut volanul! Să punem un sac de aer exploziv în volan! (Imaginați-vă cât de nebunește a sunat asta într-o ședință de lansare.) Toate acestea par a fi idei rezonabile (ei bine, cu excepția celei cu sacul de aer exploziv), deci cum știm pe care ar trebui să o facem?
Răspunsul este să generăm și să cântărim dovezile empirice.
Teorie vs. dovezi empirice
Se poate avea o teorie despre cum se va întâmpla ceva, dar ceea ce se observă sau se experimentează poate fi diferit de ceea ce ar putea prezice o teorie. Oamenii doresc să cunoască eficiența a tot felul de lucruri, ceea ce înseamnă că trebuie să le testeze.
Sociologii produc dovezi empirice într-o varietate de moduri pentru a testa teoriile și pentru a măsura capacitatea lui A de a produce un rezultat așteptat: B.
De obicei, cercetătorii colectează date prin observare directă sau indirectă și analizează aceste date pentru a răspunde la întrebări empirice (întrebări la care se poate răspunde prin observare).
Să ne uităm la exemplul nostru de siguranță auto. Inginerii și oamenii de știință au echipat mașinile cu diverse dispozitive de siguranță în diverse configurații, apoi le-au izbit de pereți, stâlpi și alte mașini și au înregistrat ce s-a întâmplat. În timp, au reușit să își dea seama ce tipuri de dispozitive de siguranță funcționează și care nu. După cum s-a dovedit, toată chestia aia cu airbag-ul nu a fost atât de nebunească până la urmă.
Nu au nimerit totul imediat. De exemplu, primele centuri de siguranță nu erau retractabile. Unele airbaguri au aruncat bucăți de metal în pasageri. Dar, pe alocuri, siguranța autoturismelor s-a îmbunătățit și, chiar dacă oamenii conduc din ce în ce mai mulți kilometri, tot mai puțini mor pe șosea.
Testarea efectelor, să zicem, unei politici publice asupra unui grup de oameni ne plasează pe teritoriul științelor sociale.
De exemplu, cercetarea în domeniul educației nu este același lucru cu cercetarea în domeniul auto, deoarece copiii (oameni) nu sunt mașini (obiecte). Cu toate acestea, educația poate fi îmbunătățită prin încercarea de a face lucruri noi, prin colectarea de date privind aceste eforturi, prin analiza riguroasă a acestor date și apoi prin cântărirea tuturor dovezilor empirice disponibile pentru a vedea dacă aceste lucruri noi realizează ceea ce sperăm să facă.
Din păcate, partea de „analiză riguroasă” lipsește adesea din cercetarea în domeniul educației. În laboratoarele inginerilor de automobile, se are mare grijă să se schimbe doar un singur element de proiectare (o variabilă) la un moment dat, astfel încât fiecare test să izoleze factorul individual care face ca o mașină să fie mai mult sau mai puțin sigură. OK, pentru acest test, haideți să schimbăm doar materialul volanului și să păstrăm totul la fel, astfel încât să știm dacă volanul este cel care îi rănește pe oameni.
Compararea merelor cu merele
În științele sociale și în special în educație, încercarea de a izola variabilele este o provocare, dar este posibilă, dacă cercetătorii pot face comparații „mere cu mere”.
Cel mai bun mod de a obține o comparație mere cu mere este de a efectua ceva numit un studiu de control randomizat (RCT). Este posibil să fi auzit despre acestea în legătură cu testarea medicamentelor. Testarea medicamentelor utilizează tot timpul RCT-uri.
Într-un RCT educațional, elevii sunt împărțiți în două grupuri printr-o loterie randomizată și jumătate dintre elevi primesc oricare ar fi „tratamentul” educațional (un nou program de lectură, o schimbare de abordare a disciplinei, un voucher școlar etc.), în timp ce cealaltă parte nu. Cercetătorii compară rezultatele celor două grupuri și estimează efectul „tratamentului”. Această abordare ne oferă încrederea că efectul observat este cauzat de intervenție și nu de alți factori.
RCT-urile nu sunt întotdeauna posibile. Uneori, cercetătorii se pot apropia folosind evenimente aleatorii care separă copiii în două grupuri, cum ar fi granițele districtelor școlare care sunt create de râuri sau pârâiașe care împart o comunitate mai mult sau mai puțin întâmplător sau limitele zilelor de naștere pentru grădiniță care plasează un copil născut pe 31 august într-o clasă, dar unul născut pe 1 septembrie în alta, chiar dacă practic nu există nicio diferență între ele. În funcție de natura exactă a evenimentului, acestea pot fi cunoscute sub numele de analize de „discontinuitate a regresiei” sau de „variabilă instrumentală” și pot fi instrumente utile pentru a estima efectele unui program.
Cercetătorii pot, de asemenea, să urmărească copiii individuali care primesc un tratament dacă au date de dinainte și de după, pentru a vedea cum se schimbă traiectoria educațională a acelui copil în timp. Acestea sunt cunoscute sub numele de analize cu „efecte fixe”.
Toate aceste trei tipuri de analize – studii de control randomizate, analize de discontinuitate a regresiei și analize cu efecte fixe – au dezavantajele lor.
Mai puține evenimente exterioare sunt cu adevărat aleatorii. Dacă, așa cum fac adesea analizele de discontinuitate a regresiei, cercetătorii se uită doar la copiii aflați chiar deasupra sau chiar sub pragul limită sau, așa cum fac adesea analizele cu efecte fixe, cercetătorii se uită doar la acei copii care trec de la o școală la alta, este posibil ca acei copii să nu fie reprezentativi pentru populație. Cum ar afecta o intervenție copiii care nu sunt aproape de o limită sau de graniță? Sau copiii care nu schimbă școlile?
În SlideShare-ul de mai jos, prezentăm dovezi empirice bazate pe cercetări riguroase privind programele de alegere a școlilor private, ca exemplu al modului în care noi înșine, în calitate de academicieni și cercetători, identificăm și caracterizăm dovezile empirice de înaltă calitate într-un anumit domeniu de studiu.
Câteva considerații
Este mult de parcurs, așa că, înainte de a o face, am dori să oferim două note.
În primul rând, este întotdeauna important să înțelegem compromisurile dintre validitatea internă și cea externă.
Valabilitatea internă se referă la cât de bine este realizat un studiu – ne oferă încrederea că efectele pe care le observăm pot fi atribuite intervenției sau programului, și nu altor factori.
De exemplu, atunci când guvernul federal a vrut să afle dacă programul de vouchere școlare din Washington, D.C. a crescut rezultatele elevilor la testele de citire și matematică, cercetătorii au luat cei 2.308 elevi care au aplicat pentru program și au repartizat aleatoriu 1.387 pentru a primi vouchere și 921 pentru a nu primi. Apoi au urmărit cele două grupuri de-a lungul timpului, iar atunci când au analizat rezultatele, au putut concluziona în mod rezonabil că orice diferențe se datorează ofertei unui voucher, deoarece acesta este singurul lucru care a fost diferit între cele două grupuri și au fost diferite doar din cauza hazardului. Acest studiu a avut o validitate internă ridicată.
Valabilitatea externă se referă la măsura în care putem generaliza concluziile unui studiu la alte contexte.
Să ne gândim la același studiu. Programul din D.C. a fost unic. Suma de bani pe care o primesc elevii, reglementările pe care școlile participante trebuiau să le accepte, mărimea programului, situația sa precară din punct de vedere politic și numeroși alți factori erau diferiți în acel program față de alții, ca să nu mai vorbim de faptul că Washington, D.C. nu este reprezentativ pentru Statele Unite în ansamblu din punct de vedere demografic, politic sau în orice alt mod pe care ni-l putem imagina. Prin urmare, trebuie să fim precauți atunci când încercăm să generalizăm rezultatele. Studiul are o validitate externă mai scăzută.
Pentru a combate problemele legate de validitatea externă mai scăzută, cercetătorii pot colecta și analiza dovezi empirice privind proiectarea programului pentru a înțelege impactul acestuia. Putem, de asemenea, să analizăm mai multe studii pentru a vedea modul în care intervenții similare afectează elevii în diferite medii.
În al doilea rând, respectarea și utilizarea cercetării nu aprobă tehnocrația. Cercetarea și expertiza sunt incredibil de utile. Atunci când vă urcați într-un avion sau vă îndreptați spre o operație, doriți ca persoana care face treaba să fie un expert. Dovezile empirice ne pot ajuta să știm mai multe despre lume și să fim mai buni în ceea ce facem. Dar ar trebui, de asemenea, să dăm dovadă de reținere și umilință, recunoscând limitele științelor sociale.
Politica publică implică cântărirea unor compromisuri pe care științele sociale nu le pot face pentru noi. Știința socială ne poate spune că un program crește rezultatele la lectură, dar crește și anxietatea și depresia la copii. Ar trebui ca acel program să fie lăsat să continue? În cele din urmă, acest lucru se reduce la judecata și valorile umane. Acest lucru nu ar trebui să fie niciodată uitat.