Empírica é a informação que os investigadores geram para ajudar a descobrir respostas a perguntas que podem ter implicações significativas para a nossa sociedade.
Tirar cintos de segurança. Antes da sua invenção, as pessoas eram mortas ou mutiladas no que hoje pensamos serem acidentes de trânsito menores. Então engenheiros inteligentes juntaram as cabeças para tentar fazer algo a respeito.
Tentemos amarrar as pessoas! Vamos mudar do que o volante é feito! Vamos colocar um saco de ar explosivo no volante! (Imagine o quão louco isso soou numa reunião de pitch.) Todas estas parecem ideias razoáveis (bem, excepto aquela do airbag explosivo), então como sabemos qual devemos fazer?
A resposta é gerar e pesar evidência empírica.
Teoria vs. Evidência Empírica
Uma pessoa pode ter uma teoria sobre como algo vai funcionar, mas o que se observa ou experiências pode ser diferente do que uma teoria pode prever. As pessoas querem saber a eficácia de todo o tipo de coisas, o que significa que têm de as testar.
Os cientistas sociais produzem evidência empírica de várias formas para testar teorias e medir a capacidade de A para produzir um resultado esperado: B.
Usualmente, os investigadores recolhem dados através da observação directa ou indirecta, e analisam estes dados para responder a questões empíricas (questões que podem ser respondidas através da observação).
Vejamos o nosso exemplo de segurança automóvel. Engenheiros e cientistas equiparam carros com vários dispositivos de segurança em várias configurações, depois os esmagaram em paredes, postes e outros carros e registraram o que aconteceu. Com o tempo, eles foram capazes de descobrir que tipos de dispositivos de segurança funcionavam e quais não funcionavam. Acontece que, afinal, aquilo do airbag não foi tão louco.
Não conseguiram acertar tudo imediatamente. Por exemplo, os primeiros cintos de segurança não eram retrácteis. Alguns airbags atiraram pedaços de metal nos passageiros. Mas, nos ajustes e nas largadas, a segurança do automóvel melhorou, e mesmo que as pessoas estejam a conduzir cada vez mais quilómetros, cada vez menos estão a morrer na estrada.
Como é diferente reunir evidências empíricas nas ciências sociais
Testar os efeitos de, digamos, uma política pública num grupo de pessoas coloca-nos no território das ciências sociais.
Por exemplo, a investigação na educação não é o mesmo que a investigação automóvel porque as crianças (pessoas) não são carros (objectos). A educação, no entanto, pode ser melhorada tentando coisas novas, coletando dados sobre esses esforços, analisando rigorosamente esses dados e depois pesando todas as evidências empíricas disponíveis para ver se essas coisas novas realizam o que esperamos que realizem.
Felizmente, a parte “analisando rigorosamente” está muitas vezes faltando na pesquisa sobre educação. Nos laboratórios dos engenheiros de automóveis, toma-se muito cuidado para mudar apenas um bit de design (uma variável) de cada vez para que cada teste isole o fator individual que está tornando um carro mais ou menos seguro. OK, para este teste, vamos apenas mudar o material do volante e manter tudo o resto igual, assim saberemos se é o volante que está a prejudicar as pessoas.
Comparando maçãs com maçãs
Na ciência social e especialmente na educação, tentar isolar variáveis é um desafio, mas possível, se os investigadores puderem fazer comparações “maçãs com maçãs”.
A melhor maneira de obter uma comparação maçãs com maçãs é realizar algo chamado ensaio de controlo aleatório (RCT). Você já deve ter ouvido falar sobre isso em relação aos testes de medicamentos. O teste de medicamentos usa RCTs o tempo todo.
Num RCT educativo, os alunos são divididos em dois grupos por uma lotaria aleatória e metade dos alunos recebem qualquer que seja o “tratamento” educativo (um novo programa de leitura, uma mudança na abordagem à disciplina, um voucher escolar, etc.) enquanto o outro não o faz. Os pesquisadores comparam os resultados desses dois grupos e estimam o efeito do “tratamento”. Esta abordagem nos dá confiança de que o efeito observado é causado pela intervenção e nenhum outro fator.
RCTs nem sempre são possíveis. s vezes os pesquisadores podem se aproximar usando eventos aleatórios que separam as crianças em dois grupos, como os limites do distrito escolar que são criados pelos rios ou riachos que dividem uma comunidade mais ou menos por acaso ou cortes de aniversário para a pré-escola que colocam uma criança nascida em 31 de agosto em uma série, mas uma nascida em 1º de setembro em outra, mesmo que basicamente não haja diferença entre elas. Dependendo da natureza exata do evento, estas podem ser conhecidas como análises de “descontinuidade de regressão” ou “variável instrumental”, e podem ser ferramentas úteis para estimar os efeitos de um programa.
Os pesquisadores também podem seguir crianças individuais que recebem um tratamento se tiverem dados de antes e depois para ver como a trajetória educacional dessa criança muda com o tempo. Estas são conhecidas como análises de “efeitos fixos”.
Todos os três destes – ensaios de controlo, análises de descontinuidade de regressão e análises de efeitos fixos – têm os seus inconvenientes.
Muitos poucos eventos externos são verdadeiramente aleatórios. Se, como a análise de descontinuidade de regressão frequentemente faz, os pesquisadores só olham para as crianças logo acima ou logo abaixo do corte, ou, como a análise de efeitos fixos frequentemente faz, os pesquisadores só olham para as crianças que mudam de uma escola para outra, essas crianças podem não ser representativas da população. Como uma intervenção afetaria as crianças que não estão perto de um corte ou fronteira? Ou crianças que não mudam de escola?
No SlideShare abaixo, apresentamos evidências empíricas baseadas em pesquisas rigorosas sobre programas de escolha de escolas privadas como um exemplo de como nós, como acadêmicos e pesquisadores, identificamos e caracterizamos a evidência empírica de alta qualidade em uma determinada área de estudo.
A Couple Considerations
É muito a percorrer, por isso antes de o fazer, gostaríamos de oferecer duas notas.
Primeiro, é sempre importante compreender os tradeoffs entre validade interna e externa.
Validade interna refere-se à forma como um estudo é conduzido – dá-nos confiança de que os efeitos que observamos podem ser atribuídos à intervenção ou ao programa, e não a outros factores.
Por exemplo, quando o governo federal quis saber se o programa de vales escolares de Washington, D.C. aumentou a pontuação dos alunos nos testes de leitura e matemática, os pesquisadores levaram os 2.308 alunos que se candidataram ao programa e aleatoriamente atribuíram 1.387 para obter vales e 921 para não o fazer. Em seguida, acompanharam os dois grupos ao longo do tempo e, quando analisaram os resultados, puderam razoavelmente concluir que quaisquer diferenças eram devidas à oferta de um comprovante, pois essa é a única coisa que era diferente entre os dois grupos e eles eram diferentes apenas por causa do acaso. Este estudo teve alta validade interna.
Validade externa refere-se à medida em que podemos generalizar os resultados de um estudo para outros ambientes.
Vamos pensar nesse mesmo estudo. O programa de D.C. era único. A quantidade de dinheiro que os alunos recebem, os regulamentos que as escolas participantes tiveram que concordar, o tamanho do programa, sua situação politicamente precária e numerosos outros fatores foram diferentes naquele programa do que em outros, sem mencionar o fato de que Washington, D.C. não é representativa dos Estados Unidos como um todo demograficamente, politicamente ou realmente de qualquer forma que possamos imaginar. Como resultado, temos que ser cautelosos quando tentamos generalizar as conclusões. O estudo tem menor validade externa.
Para combater questões em torno de menor validade externa, os pesquisadores podem coletar e analisar evidências empíricas sobre o desenho do programa para entender seu impacto. Também podemos olhar para múltiplos estudos para ver como intervenções similares afetam estudantes em diferentes ambientes.
Segundo, o respeito e o uso da pesquisa não endossa a tecnocracia. A pesquisa e a perícia são incrivelmente úteis. Quando você embarca em um avião ou vai para a cirurgia, você quer que a pessoa que está fazendo o trabalho seja um especialista. As evidências empíricas podem nos ajudar a saber mais sobre o mundo e a sermos melhores no que fazemos. Mas também devemos exercer contenção e humildade, reconhecendo os limites da ciência social.
Política pública envolve pesar tradeoffs que a ciência social não pode fazer por nós. A ciência social pode nos dizer que um programa aumenta a pontuação de leitura, mas também aumenta a ansiedade e a depressão nas crianças. Esse programa deve poder continuar? Em última análise, isso se resume ao julgamento humano e aos valores. Isso nunca deve ser esquecido.