Az empirikus bizonyíték a kutatók által generált információ, amely segít feltárni a válaszokat olyan kérdésekre, amelyek jelentős hatással lehetnek a társadalmunkra.
Kapcsolja be a biztonsági övet! Feltalálásuk előtt emberek haltak meg vagy sérültek meg olyan balesetekben, amelyeket ma kisebb közlekedési baleseteknek tartanánk. Ezért okos mérnökök összedugták a fejüket, hogy megpróbáljanak valamit tenni ez ellen.
Próbáljuk meg kikötni az embereket! Változtassuk meg, hogy miből van a kormánykerék! Tegyünk egy robbanó légzsákot a kormánykerékbe! (Képzeljük csak el, milyen őrülten hangzott ez egy értekezleten.) Ezek mind ésszerű ötleteknek tűnnek (kivéve a felrobbanó légzsákot), de honnan tudjuk, hogy melyiket kellene megtennünk?
A válasz az empirikus bizonyítékok létrehozása és mérlegelése.
Egy elmélet kontra empirikus bizonyítékok
Lehet egy elméletünk arról, hogyan fog valami történni, de amit megfigyelünk vagy tapasztalunk, az eltérhet attól, amit az elmélet megjósol. Az emberek mindenféle dolgok hatékonyságát meg akarják tudni, ami azt jelenti, hogy tesztelniük kell őket.
A társadalomtudósok különböző módon állítanak elő empirikus bizonyítékokat, hogy teszteljék az elméleteket, és mérjék A képességét, hogy egy várt eredményt produkáljon: B.
A kutatók általában közvetlen vagy közvetett megfigyeléssel gyűjtenek adatokat, és ezeket az adatokat elemzik, hogy empirikus kérdésekre (megfigyeléssel megválaszolható kérdésekre) válaszoljanak.
Nézzük meg az autóbiztonsági példánkat. Mérnökök és tudósok különböző konfigurációjú biztonsági eszközökkel szerelték fel az autókat, majd falaknak, oszlopoknak és más autóknak ütköztették őket, és feljegyezték, mi történt. Idővel sikerült rájönniük, hogy milyen típusú biztonsági eszközök működnek, és melyek nem. Mint kiderült, ez az egész légzsák dolog mégsem volt olyan őrült.
Nem sikerült mindent azonnal jól csinálniuk. Például a korai biztonsági övek nem voltak behúzhatóak. Néhány légzsák fémdarabokat lőtt az utasokba. De az autók biztonsága fokozatosan javult, és bár az emberek egyre több kilométert vezetnek, egyre kevesebben halnak meg az utakon.
Hogyan különbözik az empirikus bizonyítékok gyűjtése a társadalomtudományokban
A társadalomtudományok területére tartozik, ha mondjuk egy közpolitika hatásait vizsgáljuk egy embercsoportra.
Az oktatáskutatás például nem ugyanaz, mint az autóipari kutatás, mert a gyerekek (emberek) nem autók (tárgyak). Az oktatást azonban úgy lehet jobbá tenni, ha új dolgokkal próbálkozunk, adatokat gyűjtünk ezekről az erőfeszítésekről, szigorúan elemezzük ezeket az adatokat, majd mérlegeljük az összes rendelkezésre álló empirikus bizonyítékot, hogy lássuk, ezek az új dolgok elérik-e azt, amit remélünk tőlük.
Sajnos a “szigorúan elemző” rész gyakran hiányzik az oktatáskutatásból. Az autómérnökök laboratóriumaiban nagy gondot fordítanak arra, hogy egyszerre csak a tervezés egy darabját (egy változót) változtassák meg, hogy minden egyes vizsgálat elkülönítse azt az egyedi tényezőt, amely az autót biztonságosabbá vagy kevésbé biztonságossá teszi. Oké, ehhez a teszthez csak a kormánykerék anyagát változtassuk meg, és minden mást tartsunk változatlanul, így tudni fogjuk, hogy a kormány az-e, ami árt az embereknek.
Az almák összehasonlítása almával
A társadalomtudományokban és különösen az oktatásban a változók elkülönítése kihívást jelent, de lehetséges, ha a kutatók “almától almáig” tudnak összehasonlításokat végezni.
A legjobb módja az almától almáig történő összehasonlításnak az úgynevezett randomizált kontrollvizsgálat (RCT) elvégzése. Ezekről talán már hallottál a gyógyszerek tesztelésével kapcsolatban. A kábítószer-tesztelésben állandóan használnak RCT-ket.
Egy oktatási RCT-ben a tanulókat véletlenszerű sorsolással két csoportra osztják, és a tanulók egyik fele megkapja az oktatási “kezelést” (egy új olvasási programot, a fegyelmezéshez való hozzáállás megváltoztatását, iskolai utalványt stb. A kutatók összehasonlítják a két csoport eredményeit, és megbecsülik a “kezelés” hatását. Ez a megközelítés biztosítékot ad arra, hogy a megfigyelt hatást a beavatkozás és nem más tényezők okozzák.
RCT-kre nem mindig van lehetőség. Néha a kutatók közel kerülhetnek olyan véletlenszerű események felhasználásával, amelyek a gyerekeket két csoportra osztják, mint például az iskolai körzethatárok, amelyeket folyók vagy patakok hoznak létre, amelyek többé-kevésbé véletlenszerűen osztják fel a közösséget, vagy az óvodai születésnapi határértékek, amelyek az augusztus 31-én született gyermeket az egyik osztályba, de a szeptember 1-jén születettet a másikba helyezik, még akkor is, ha alapvetően nincs különbség közöttük. Az esemény pontos jellegétől függően ezeket “regressziós diszkontinuitás” vagy “instrumentális változó” elemzéseknek nevezhetjük, és hasznos eszközök lehetnek egy program hatásainak becslésére.
A kutatók követhetik a kezelésben részesülő egyes gyermekeket is, ha rendelkeznek adatokkal a kezelés előtt és után, hogy megnézzék, hogyan változik a gyermek oktatási pályája az idő múlásával. Ezek az úgynevezett “fix hatások” elemzései.
Mindháromnak – a véletlenszerű kontrollvizsgálatoknak, a regressziós diszkontinuitási elemzéseknek és a fix hatások elemzésének – megvannak a maga hátrányai.
Nagyon kevés külső esemény valóban véletlenszerű. Ha – ahogyan a regressziós diszkontinuitás-elemzés gyakran teszi – a kutatók csak a határérték feletti vagy alatti gyerekeket vizsgálják, vagy – ahogyan a fix hatások elemzése gyakran teszi – a kutatók csak azokat a gyerekeket vizsgálják, akik egyik iskolából a másikba váltanak, akkor ezek a gyerekek nem biztos, hogy reprezentatívak a populációra nézve. Hogyan hatna egy beavatkozás azokra a gyerekekre, akik nincsenek közel a határértékhez vagy a határhoz? Vagy azokra a gyerekekre, akik nem váltanak iskolát?
A lenti SlideShare-ben a magániskola-választási programokkal kapcsolatos szigorú kutatásokon alapuló empirikus bizonyítékokat mutatunk be példaként arra, hogy mi magunk, akadémikusok és kutatók, hogyan azonosítjuk és jellemezzük a magas színvonalú empirikus bizonyítékokat egy adott tanulmányi területen.
Pár megfontolás
Nagyon sok mindent kell átbogarászni, ezért előtte szeretnénk két megjegyzést tenni.
Először is, mindig fontos megérteni a belső és külső érvényesség közötti kompromisszumokat.
A belső érvényesség arra utal, hogy mennyire jól végeztek el egy vizsgálatot – ez ad nekünk bizalmat abban, hogy a megfigyelt hatások a beavatkozásnak vagy programnak tulajdoníthatók, nem pedig más tényezőknek.
Amikor például a szövetségi kormány tudni akarta, hogy a washingtoni iskolai utalványprogram növelte-e a diákok olvasási és matematikai teszteredményeit, a kutatók fogták azt a 2 308 diákot, akik jelentkeztek a programra, és véletlenszerűen 1387-et jelöltek ki arra, hogy utalványt kapjanak, 921-et pedig arra, hogy ne. Ezután időben követték a két csoportot, és amikor elemezték az eredményeket, joggal következtethettek arra, hogy az esetleges különbségek az utalvány felajánlásának köszönhetőek, mivel ez volt az egyetlen dolog, ami különbözött a két csoport között, és csak a véletlen folytán különböztek. Ez a vizsgálat magas belső érvényességgel rendelkezett.
A külső érvényesség arra utal, hogy egy vizsgálat eredményeit milyen mértékben tudjuk általánosítani más környezetekre.
Gondoljunk csak ugyanerre a tanulmányra. A washingtoni program egyedülálló volt. A diákok által kapott pénzösszeg, a szabályok, amelyekbe a résztvevő iskoláknak bele kellett egyezniük, a program mérete, a politikailag bizonytalan helyzete és számos más tényező különbözött abban a programban a többitől, nem is beszélve arról, hogy Washington, D.C. nem reprezentálja az Egyesült Államok egészét demográfiailag, politikailag vagy tényleg bármilyen módon, amit csak el tudunk képzelni. Ennek eredményeképpen óvatosnak kell lennünk, amikor megpróbáljuk általánosítani az eredményeket. A tanulmánynak alacsonyabb a külső érvényessége.
Az alacsonyabb külső érvényességgel kapcsolatos kérdések leküzdése érdekében a kutatók gyűjthetnek és elemezhetnek empirikus bizonyítékokat a programtervezésről, hogy megértsék annak hatását. Több tanulmányt is megvizsgálhatunk, hogy lássuk, hogyan hatnak hasonló beavatkozások a diákokra különböző környezetben.
Második, a kutatás tiszteletben tartása és felhasználása nem támogatja a technokráciát. A kutatás és a szakértelem hihetetlenül hasznos. Amikor felszállsz egy repülőgépre, vagy bemész a műtőbe, azt akarod, hogy az a személy, aki a munkát végzi, szakértő legyen. Az empirikus bizonyítékok segíthetnek abban, hogy többet tudjunk a világról és jobbak legyünk abban, amit csinálunk. De önmérsékletet és alázatot is kell tanúsítanunk, felismerve a társadalomtudomány korlátait.
A közpolitikában olyan kompromisszumokat kell mérlegelnünk, amelyeket a társadalomtudomány nem tud helyettünk megtenni. A társadalomtudomány meg tudja mondani, hogy egy program növeli az olvasási eredményeket, de növeli a gyerekek szorongását és depresszióját is. Engedélyezzük-e a program folytatását? Ez végső soron az emberi ítélőképességen és értékeken múlik. Ezt soha nem szabad elfelejteni.