経験的証拠とは、私たちの社会にとって重大な意味を持ちうる疑問に対する答えを明らかにするために、研究者が作成する情報のことです。
シートベルトを例に挙げます。 シートベルトが発明される以前は、今日でいうところの軽い交通事故で死傷者が出ていました。 そこで、頭のいい技術者たちは、何とかしようと知恵を絞りました。 ハンドルの材質を変えてみよう! ハンドルの中に爆発する空気袋を入れよう! (これらはすべて合理的なアイデアに見えますが (爆発するエアバッグを除いて)、どれを行うべきか、どのように判断すればよいのでしょうか。
その答えは、経験的証拠を生成し、評価することです。
Theory vs. Empirical Evidence
何かがどう展開されるかに理論を持っていても、観察または経験することが、理論から予測できるものと異なることがあります。 5002>
社会科学者は、理論を検証し、期待される結果を生み出すAの能力を測定するために、さまざまな方法で経験的証拠を作成する。
通常、研究者は直接または間接的な観察によってデータを収集し、これらのデータを分析して経験的質問（観察によって答えることができる質問）に答えます。
車の安全の例を見てみましょう。 エンジニアや科学者は、さまざまな安全装置をさまざまな構成で車に装備し、壁や電柱、他の車にぶつけて、何が起こったかを記録しました。 やがて、どのタイプの安全装置が機能し、どの装置が機能しないかを解明することができたのです。 5002>
彼らはすぐにすべてを正しく理解したわけではありません。 たとえば、初期のシートベルトは格納式ではなかった。 エアバッグの中には、金属片を乗客に投げつけるものもあった。 しかし、少しずつではあるが、自動車の安全性は向上し、人々がより多くの距離を運転するようになっても、道路で死亡する人は少なくなっている。
社会科学における経験的証拠の収集はどう違うか
たとえば、公共政策の効果を人々のグループに対してテストすることは、社会科学の領域に入る。 しかし教育は、新しいことを試み、その取り組みに関するデータを集め、そのデータを厳密に分析し、利用可能なすべての経験的証拠を吟味して、それらの新しいことが私たちが望むことを達成するかどうかを確認することによって、より良くすることができます」
残念ながら、教育研究には「厳密に分析する」という部分が欠けていることが多いのです。 自動車エンジニアの研究室では、一度に設計の一部 (変数) しか変更しないよう細心の注意が払われ、各テストで自動車の安全性を高めている、あるいは低くしている個々の要因を切り分けます。 OK、このテストでは、ステアリング ホイールの素材を変更し、他のすべてを同じにしましょう、そうすれば、人々を傷つけているのがホイールであるかどうかがわかります。 薬の試験に関連して、このような試験について聞いたことがあるかもしれません。
教育RCTでは、学生は無作為抽選で2つのグループに分けられ、半分の学生は教育「治療」（新しい読書プログラム、懲罰へのアプローチの変更、スクールバウチャーなど）を受け、もう一方は受けません。 研究者は、この2つのグループの結果を比較し、「治療」効果を推定する。 このアプローチにより、観察された効果が介入によるものであり、他の要因によるものではないという確信が得られます
RCT は常に可能というわけではありません。 例えば、川や小川がコミュニティを多かれ少なかれ分割することで生じる学区の境界や、8月31日生まれの子供はある学年に、9月1日生まれの子供は別の学年に、基本的に両者に違いはないにもかかわらず、入園のための誕生日カットオフのように、子供を2群に分けるランダム事象を利用することによって、研究者がそれに近づけることができる場合があります。 事象の正確な性質によって、これらは「回帰不連続」または「操作変数」分析として知られ、プログラムの効果を推定するための有用なツールとなりうる。 これらは「固定効果」分析として知られている。
これら3つ（無作為化対照試験、回帰不連続分析、固定効果分析）はすべて、欠点を持っている。 回帰不連続分析がよくやるように、研究者がカットオフのすぐ上かすぐ下の子どもたちだけを見たり、固定効果分析がよくやるように、研究者がある学校から別の学校に移った子どもたちだけを見たりすると、それらの子どもたちは集団を代表していない可能性があります。 カットオフ値や境界線に近くない子供たちに介入はどのように影響するのだろうか。
以下のスライドシェアでは、私たち自身が学者・研究者として、与えられた研究分野における質の高い実証的証拠を特定し、特徴付ける方法の一例として、私立学校選択プログラムに関する厳密な研究に基づく実証的証拠を紹介しています。
A Couple Considerations
読み進めるのが大変なので、その前に、2つの注意を提示したいと思います。
まず、常に、内部妥当性と外部妥当性の間のトレードオフを理解することが重要です。
外部妥当性とは、ある研究から得られた知見を他の環境に一般化できる程度を指します。
その同じ研究について考えてみましょう。 D.C.のプログラムはユニークでした。 生徒が受け取る金額、参加校が同意しなければならない規則、プログラムの規模、政治的に不安定な状況、その他多数の要因が、そのプログラムでは他のプログラムとは異なっていました。言うまでもなく、ワシントンD.C.は人口統計学的、政治的、その他我々が想像し得るあらゆる点において米国全体を代表しているわけではありません。 その結果、調査結果を一般化しようとするときには、慎重にならざるを得ません。 5002>
外部妥当性が低いという問題に対処するために、研究者はプログラム設計に関する経験的証拠を収集・分析し、その影響を理解することができます。 また、複数の研究を見て、類似の介入が異なる環境の学生にどのような影響を与えるかを見ることができます。
第二に、研究を尊重し利用することは、技術主義を是認するものではありません。 研究や専門知識は非常に有用です。 飛行機に乗るときや手術に向かうとき、その仕事をしている人が専門家であってほしいと思うものです。 経験的な証拠は、私たちが世界についてより深く知り、自分たちの仕事をより良くするのに役立ちます。 しかし、社会科学の限界を認識し、自制と謙虚さを発揮すべきです。
公共政策には、社会科学ではできないトレードオフを見極めることが必要です。 社会科学は、あるプログラムが読書の点数を上げるが、同時に子どもたちの不安やうつ病を増加させることを伝えることができる。 そのプログラムは継続されるべきなのでしょうか。 最終的には、人間の判断と価値観に帰結するのです。 それは決して忘れてはならないことです
。