Empirische Beweise sind Informationen, die von Forschern gewonnen werden, um Antworten auf Fragen zu finden, die für unsere Gesellschaft von großer Bedeutung sein können.
Nehmen Sie Sicherheitsgurte. Vor ihrer Erfindung wurden Menschen bei Unfällen, die wir heute als Bagatellunfälle bezeichnen würden, getötet oder verstümmelt. Also steckten schlaue Ingenieure ihre Köpfe zusammen und versuchten, etwas dagegen zu tun.
Lasst uns versuchen, die Leute festzubinden! Ändern wir die Beschaffenheit des Lenkrads! Lasst uns einen explodierenden Luftsack in das Lenkrad einbauen! (Stellen Sie sich vor, wie verrückt das in einem Pitch-Meeting klingen würde.) Das scheinen alles vernünftige Ideen zu sein (mit Ausnahme des explodierenden Airbags), woher sollen wir also wissen, welche wir machen sollen?
Die Antwort ist, empirische Beweise zu sammeln und abzuwägen.
Theorie vs. empirische Beweise
Man kann eine Theorie darüber haben, wie etwas ablaufen wird, aber was man beobachtet oder erlebt, kann sich von dem unterscheiden, was eine Theorie vorhersagen könnte. Die Menschen wollen die Wirksamkeit aller möglichen Dinge wissen, was bedeutet, dass sie sie testen müssen.
Sozialwissenschaftler produzieren empirische Beweise auf verschiedene Weise, um Theorien zu testen und die Fähigkeit von A zu messen, ein erwartetes Ergebnis zu erzielen: B.
In der Regel sammeln Forscher Daten durch direkte oder indirekte Beobachtung, und sie analysieren diese Daten, um empirische Fragen (Fragen, die durch Beobachtung beantwortet werden können) zu beantworten.
Betrachten wir unser Beispiel zur Sicherheit von Autos. Ingenieure und Wissenschaftler haben Autos mit verschiedenen Sicherheitsvorrichtungen in unterschiedlichen Konfigurationen ausgestattet, sie dann gegen Wände, Masten und andere Autos geschleudert und aufgezeichnet, was passiert ist. Mit der Zeit konnten sie herausfinden, welche Sicherheitsvorrichtungen funktionierten und welche nicht. Wie sich herausstellte, war die ganze Sache mit den Airbags gar nicht so verrückt.
Sie haben nicht alles sofort richtig gemacht. Zum Beispiel waren die ersten Sicherheitsgurte nicht aufrollbar. Einige Airbags schossen Metallstücke in die Passagiere. Aber nach und nach wurde die Sicherheit von Autos immer besser, und obwohl die Menschen immer mehr Kilometer fahren, sterben immer weniger Menschen im Straßenverkehr.
Wie sich die Gewinnung empirischer Beweise in den Sozialwissenschaften unterscheidet
Wenn wir die Auswirkungen z. B. einer öffentlichen Maßnahme auf eine Gruppe von Menschen testen, befinden wir uns im Bereich der Sozialwissenschaften.
Die Bildungsforschung ist zum Beispiel nicht dasselbe wie die Automobilforschung, weil Kinder (Menschen) keine Autos (Objekte) sind. Bildung kann jedoch verbessert werden, indem man neue Dinge ausprobiert, Daten über diese Bemühungen sammelt, diese Daten rigoros analysiert und dann alle verfügbaren empirischen Beweise abwägt, um zu sehen, ob diese neuen Dinge das erreichen, was wir hoffen, dass sie es tun.
Unglücklicherweise fehlt in der Bildungsforschung oft der Teil „rigorose Analyse“. In den Labors der Autoingenieure wird darauf geachtet, immer nur einen Teil der Konstruktion (eine Variable) zu verändern, so dass jeder Test den einzelnen Faktor isoliert, der ein Auto mehr oder weniger sicher macht. OK, für diesen Test ändern wir einfach das Material des Lenkrads und lassen alles andere gleich, damit wir wissen, ob es das Lenkrad ist, das die Menschen verletzt.
Vergleich von Äpfeln mit Äpfeln
In der Sozialwissenschaft und insbesondere im Bildungswesen ist es schwierig, Variablen zu isolieren, aber möglich, wenn Forscher „Äpfel mit Äpfeln“ vergleichen können.
Der beste Weg, um einen Vergleich von Äpfeln mit Äpfeln zu erhalten, ist die Durchführung einer randomisierten Kontrollstudie (RCT). Sie haben vielleicht schon einmal davon gehört, wenn es um die Prüfung von Medikamenten geht. Bei einer RCT im Bildungsbereich werden die Schüler durch eine zufällige Auslosung in zwei Gruppen eingeteilt, von denen die eine Hälfte die „Behandlung“ erhält (ein neues Leseprogramm, eine Änderung der Disziplin, einen Schulgutschein usw.), während die andere Gruppe nicht behandelt wird. Die Forscher vergleichen die Ergebnisse dieser beiden Gruppen und schätzen den „Behandlungs“-Effekt. Dieser Ansatz gibt uns die Gewissheit, dass die beobachtete Wirkung durch die Intervention und nicht durch andere Faktoren verursacht wird.
RCTs sind nicht immer möglich. Manchmal können Forscher sich dem annähern, indem sie zufällige Ereignisse nutzen, die Kinder in zwei Gruppen aufteilen, wie z. B. Schulbezirksgrenzen, die durch Flüsse oder Bäche entstehen, die eine Gemeinde mehr oder weniger zufällig aufteilen, oder Geburtstagsgrenzen für die Vorschule, die ein am 31. August geborenes Kind in eine Klasse und ein am 1. September geborenes in eine andere einteilen, obwohl es im Grunde keinen Unterschied zwischen ihnen gibt. Je nach der genauen Art des Ereignisses können diese Analysen als „Regressionsdiskontinuitäts-“ oder „Instrumentalvariablenanalysen“ bezeichnet werden, und sie können nützliche Instrumente zur Schätzung der Auswirkungen eines Programms sein.
Forscher können auch einzelne Kinder verfolgen, die eine Behandlung erhalten, wenn sie über Daten von vor und nach der Behandlung verfügen, um zu sehen, wie sich der Bildungsverlauf des Kindes im Laufe der Zeit verändert. Diese Analysen sind als „Analysen mit festen Effekten“ bekannt.
Alle drei Methoden – randomisierte Kontrollstudien, Regressionsdiskontinuitätsanalysen und Analysen mit festen Effekten – haben ihre Nachteile.
Nur sehr wenige äußere Ereignisse sind wirklich zufällig. Wenn die Forscher, wie es bei der Regressionsdiskontinuitätsanalyse häufig der Fall ist, nur Kinder knapp über oder knapp unter dem Grenzwert betrachten, oder wenn sie, wie es bei der Analyse mit festen Effekten häufig der Fall ist, nur die Kinder betrachten, die von einer Schule zur anderen wechseln, sind diese Kinder möglicherweise nicht repräsentativ für die Bevölkerung. Wie würde sich eine Intervention auf Kinder auswirken, die sich nicht in der Nähe eines Cutoffs oder einer Grenze befinden? Oder Kinder, die nicht die Schule wechseln?
In der nachstehenden SlideShare-Präsentation stellen wir empirische Belege vor, die auf strengen Forschungsarbeiten zu privaten Schulwahlprogrammen beruhen, als Beispiel dafür, wie wir als Akademiker und Forscher selbst die hochwertigen empirischen Belege in einem bestimmten Studienbereich identifizieren und charakterisieren.
Ein paar Überlegungen
Es ist eine Menge, durch die man sich durcharbeiten muss, daher möchten wir zwei Anmerkungen machen.
Erstens ist es immer wichtig, die Kompromisse zwischen interner und externer Validität zu verstehen.
Interne Validität bezieht sich darauf, wie gut eine Studie durchgeführt wurde – sie gibt uns die Gewissheit, dass die von uns beobachteten Effekte der Intervention oder dem Programm und nicht anderen Faktoren zugeschrieben werden können.
Als die Bundesregierung beispielsweise wissen wollte, ob das Schulgutscheinprogramm in Washington, D.C., die Ergebnisse der Lese- und Mathematiktests der Schüler verbessert, nahmen die Forscher die 2.308 Schüler, die sich für das Programm beworben hatten, und wiesen nach dem Zufallsprinzip 1.387 Schüler zu, die einen Gutschein erhielten, und 921, die keinen Gutschein erhielten. Anschließend verfolgten sie die beiden Gruppen über einen längeren Zeitraum hinweg, und als sie die Ergebnisse analysierten, konnten sie vernünftigerweise zu dem Schluss kommen, dass alle Unterschiede auf das Angebot eines Gutscheins zurückzuführen waren, denn das war das Einzige, was sich zwischen den beiden Gruppen unterschied, und sie unterschieden sich nur aufgrund des Zufalls. Diese Studie hatte eine hohe interne Validität.
Die externe Validität bezieht sich auf das Ausmaß, in dem wir die Ergebnisse einer Studie auf andere Situationen verallgemeinern können.
Lassen Sie uns über dieselbe Studie nachdenken. Das Programm in Washington D.C. war einzigartig. Die Höhe des Geldes, das die Schüler erhalten, die Vorschriften, denen die teilnehmenden Schulen zustimmen mussten, die Größe des Programms, seine politisch prekäre Situation und zahlreiche andere Faktoren waren bei diesem Programm anders als bei anderen, ganz zu schweigen von der Tatsache, dass Washington, D.C. weder demografisch noch politisch noch in irgendeiner anderen Weise repräsentativ für die Vereinigten Staaten als Ganzes ist, die wir uns vorstellen können. Daher müssen wir vorsichtig sein, wenn wir versuchen, die Ergebnisse zu verallgemeinern. Die Studie hat eine geringere externe Validität.
Um Probleme im Zusammenhang mit einer geringeren externen Validität zu bekämpfen, können Forscher empirische Daten zur Programmgestaltung sammeln und analysieren, um deren Auswirkungen zu verstehen. Wir können auch mehrere Studien betrachten, um zu sehen, wie sich ähnliche Maßnahmen auf Schüler in verschiedenen Umfeldern auswirken.
Zweitens: Die Achtung und Nutzung von Forschung bedeutet nicht, dass Technokratie gefördert wird. Forschung und Fachwissen sind unglaublich nützlich. Wenn man in ein Flugzeug steigt oder sich in den OP begibt, möchte man, dass die Person, die die Arbeit macht, ein Experte ist. Empirische Erkenntnisse können uns helfen, mehr über die Welt zu wissen und unsere Arbeit besser zu machen. Aber wir sollten auch Zurückhaltung und Bescheidenheit üben, indem wir die Grenzen der Sozialwissenschaft anerkennen.
Öffentliche Politik beinhaltet das Abwägen von Kompromissen, die die Sozialwissenschaft nicht für uns übernehmen kann. Die Sozialwissenschaft kann uns sagen, dass ein Programm zwar die Leseergebnisse verbessert, aber auch die Angst und Depression bei Kindern erhöht. Sollte man dieses Programm fortsetzen dürfen? Letzten Endes hängt das von menschlichen Urteilen und Werten ab. Das sollte nie vergessen werden.