+ Lab Experiments for Measurement in Program Evaluation Michael J. Gilligan, Universidade New York.
Transcript of + Lab Experiments for Measurement in Program Evaluation Michael J. Gilligan, Universidade New York.
+
Lab Experiments for Measurement in Program Evaluation
Michael J. Gilligan, Universidade New York
+A Tarefa Programas de Governo/ONG/CBO desejam mudar
atitudes e crenças dos participantes de forma particular
Normalmente estes programas treinam os participantes em um certo conjunto de "direito" de atitudes e crenças.
Exemplos Comportamentos pró-sociais: contribuições para a bens
públicos, a confiança, a tolerância, não-violência e assim por diante
Atitude e comportamentos em relação a grupos marginalizados: mulheres em minoria, grupos étnicos particulares
Estes programas gostariam de ser capazes de medir se os seus esforços têm sido bem sucedidos
+O Problema Estudos controlados são essenciais para ser
capaz de fazer afirmações causais sobre os efeitos do programa.
Mas estudos controlados não são uma solução para o problema de medição de fato - eles são um obstáculo para ele.
Programadores RCT só funcionam com as populações 'tratadas‘, somente populações tratadas recebem treinamento sobre as respostas "certas“
RCTs, a mesma coisa que está garantindo a tendência em relação ao assunto (saldo) é a introdução de tendência na medida
+Capital Social & Atitudes Pro-Sociais
+DefiniçãoAs redes [S]ociais e as normas de reciprocidade e confiança que surgem a partir delas. ... O capital [S]ocial está intimamente relacionado com ... "virtude cívica.'' A diferença é ... a virtude cívica é mais poderosa quando incorporada em uma densa rede de relações sociais recíprocas. Uma sociedade de muitas pessoas virtuosas, mas isoladas não é necessariamente rica em capital social (Putnam, 2000).
+Estamos interessados em medir:AltruismoConfiança ConfiabilidadeVontade de contribuir para bens públicos
As redes sociais que (supostamente) suportam estes comportamentos
+Implicações para DesenvolvimentoConfiança: fundamental para a auto aplicação eficaz em termos de custos de contratos
A conformidade com as normas sociais: a não-violência, compromisso, equidade
Contribuições para os bens públicos: essenciais para a eficiência econômica
Respeito por fontes legítimas de autoridade
+Algumas Constatações (entre muitas)Putnam (1993) mostra que os governos
locais na Itália são mais eficientes onde há maior engajamento cívico.
Knack e Keefer (1997) demonstram que o aumento da confiança a nível nacional leva a grandes aumentos no crescimento econômico do país.
La Porta et. al. (1997) estabelece uma forte relação positiva entre confiança e eficiência judicial e uma forte ligação negativa entre confiança e corrupção.
+Implicações
O Banco Mundial e outras entidades internacionais tem muitos programas para fomentar o capital social e a pró-sociabilidade
DDR-base comunitária
Programas voltados para a comunidade de desenvolvimento
Um foco na capacidade local em esforços de desenvolvimento
"Apropriação local" de programas de desenvolvimento para promover a sustentabilidade
+Medir Capital Social e normas sociaisEstes são conceitos muito difíceis de medir
Em muitos casos, eles não são observados diretamente
Indicadores diferem muito entre as diferentes culturas
As pessoas são muitas vezes relutantes em revelar um comportamento que não é pró-social
+ Medidas tradicionais de pesquisa‘De um modo geral, você diria que a
maioria das pessoas pode ser confiável ou que você não pode ser muito cuidadoso ao lidar com as pessoas? '(World Values Survey)
"Você estaria disposto a contribuir com um dia de tempo livre para ...?"
Quão difícil que você acha que seria para sua comunidade para chegar a acordo sobre ...? "
Nos últimos três meses se você contribuiu tempo ou dinheiro para uma organização de base comunitária?
Você votou na última eleição?
+Preocupações com pesquisas tendenciosasEntrevistados programadores treinados nas respostas "certas" para esses tipos de perguntas
Eles não operam em comunidades de controle de todo, assim os entrevistados nem sequer sabem as respostas "certas"
+Medidas observacionaisNúmero de pessoas que votaram na última eleição
Número de pessoas que aparecem para limpar um parque público
As contribuições para um fundo comunitário
+As medidas têm grande validade externa (no mundo real), mas ... Será que estamos medindo as atitudes sociais
ou a força de liderança?
... Ou intimidação?
... Ou corrupção?
Exemplo: O comparecimento dos eleitores na União Soviética era rotineiramente acima de 98 por cento
Resultados "bom" pode ser causada por exatamente o oposto de boas instituições e atitudes pró-sociais
+Medidas de observação estruturadaAtividades comunitárias estruturadas
»(Casey Glennerster e Miguel) Os fundos escolhidos no esquema de
correspondência de concessão A tomada de decisão sobre a alocação de sal ou
de baterias Alocação de lona
Projeto Tuungame, Congo (Humpreys, Sanchez de la Sierra e van der Windt 2013) A participação em fundos de contrapartida para
um bem público Alocação de um "golpe de sorte" 100 dólares Participação em uma reunião da comunidade
+Medidas de observação estruturadas
Estruturadas e, por conseguinte, mais comparáveis entre si
Têm grande validade externa ...
mas ainda não podemos separar os fatores individuais (atitudes) a partir de fatores de toda a comunidade (liderança, instituições)
+ Laboratório em atividades de campo Observando o comportamento em um
ambiente controlado de laboratório
Todas as pressões sociais, efeitos políticos institucionais etc, são removidos por desenho do experimento
Observamos apenas respostas das pessoas aos incentivos que nós (os experimentadores) oferecemos
Nós somos capazes de separar as atitudes de fatores de toda a comunidade
+Perda de validade externa
Factores a nível da Comunidade (liderança, eficiência institucional) são excluídos do laboratório de modo que não podemos obter medidas deles
Assim atividades de laboratório são melhor combinadas com os outros métodos de medição
+ Jogos de comportamentos Três jogos importantes são:
Jogo do altruismo Jogo da confiançaJogo dos bens públicos
Nosso interesse principal é nos jogos de altruísmo, de confiança e de bens públicos, mas também precisamos de conduzir os outros jogos para controlar atitudes de risco, paciência e altruísmo
+Instrução do Jogo
+
+Atividade de Altruismo
Sujeitos receberam uma quantia em dinheiroNepal; 40 NPR em 5 NPR notasSudan: 3 pounds em moedas de meia-pound
Cambodia: 16,000 KHR em 4,000 KHR notas
Sujeitos decidem quanto querem contribuir para uma família local carente
A identidade da família não é revelada
+
+Atividade de Confiança, Confiabilidade Os sujeitos são designados aleatoriamente para um
dos dois papéis: remetente ou destinatário (nós usamos nomes neutros em campo)
Ambos os tipos são dados dotação inicial de dinheiro
Remetentes decidem o quanto de sua dotação para enviar para o receptor
Nós triplicamos essa quantidade e damos ao receptor
O receptor decide quanto deste total para retornar para o remetente
Todos os jogadores e os tipos são anônimos
Concluo: envie zero, retornar zero
Ótimo social: envie dotação total, o retorno que for necessário para apoiar o comportamento confiante
+
+ Jogo dos Bens PúblicosTodos os indivíduos jogam
simultaneamente
Cada jogador recebe duas cartas, uma com um "X" e um em branco
Para cada cartão "X" que se transformou no primeiro turno todos os jogadores recebem uma quantia de dinheiro, dizer 4NPR
Transformando um cartão de "X" no segundo turno ganha o jogador quem transformou em uma quantidade maior, digamos 20 NPR
+Impactos Sociais de CDD (Sudao) por Estrategias de Medida Diferente
Rede de grupo de associados
Comportamento de Laboratorio
Auto-relato de Ação Individual (pesquisa)
Coesão comunitária subjetiva (pesquisa)
Melhoria subjectivana coesão comunitaria (pesquisa)
-0.18***(0.000)
-0.12(0.08)
0.21***(0.10)
0.18***(0.07)
0.46***(0.11)
+Atitudes para grupos marginalizados
+ExemplosMuitos programas estão interessados em melhorar o estado de grupos marginalizados, especialmente mulheres
Governos / ONGs / OSC, também se interessaram na flexibilização rivalidades étnicas (muitas vezes violentas), especialmente em cenários pós-conflito
+Mesmo problemaProgramadores RCT só funcionam com as populações 'tratadas' tão somente populações tratadas recebem treinamento sobre as respostas "certas"
RCT, a mesma coisa que está garantindo tendência em relação ao assunto (saldo) é a introdução de tendência na medida
+Uma variedade de opçõesJogois standard (altruismo, confiança,
bens públicos, etc) podem ser usados para medir atitudes em relação a “grupos de grupos” de foraBracic 2013 atitudes para Roma na
antiga Jugoslavia
Observando o comportamento de deliberação, a cooperação e o trabalho em equipe entre grupos mistos Karpowitz and Mandelberg 2014
deliberação em grupos mistos de homens e mulheres
+Observando o comportamento do grupo
Análise Bales na Interação de Processos
Os participantes recebem uma tarefa que exige uma decisão ou cooperação do grupo
Registro de interações de acordo com um conjunto específico de critérios para codificar tudo o que o pesquisador está interessado em medir (respeito, hostilidade, etc)
o truque Não dizendo a participantes que este é um
estudo de interação grupo sim, grupo não Incentivar os participantes a agir de acordo
com as crenças sobre o grupo de fora
+Exemplo: Atitudes em relação ao gênero e etnia na Polícia Nacional da Libéria (PNL)
O governo da Libéria adoptou uma quota explícita de 30% para mulheres na PNL
Nós não realizamos um RCT, mas nós estávamos interessados em: testar alguns dos pressupostos do programa de gênero
+Proponentes do Programa afirmou que mais mulheres iria produzir uma variedade de beneficiosTomada de decisão mais consensual
Maior sensibilidade para crimes de gênerocrimes
Décadas de descobertas da psicologia social que as mulheres não participam plenamente nas deliberações do grupo.
+ O programa estava em curso há vários anos para que os oficiais sabiam as atitudes em relação a policia feminina que eles deveriam ter
Assim, uma pesquisa não teria sido uma estratégia de medição convincente
Tivemos grupos de oficiais de tamanho da equipe completa e randomizados o número de oficiais do sexo feminino em cada grupo
Observou-se os membros da equipe 'para ver se os homens reagiram de forma diferente
em grupos com mais mulheres Grupos com mais mulheres deliberou mais
consensual e estavam mais propensos a ver o crime como gênero
+Descobertas
Oficiais do sexo feminino não foram, em geral, mais prováveveis de um crime de gênero, mas as mulheres mais competentes foram
Grupos com mais membros mulheres não eram mais propensos a ver um crime de gênero
Grupos com mais mulheres não eram mais consensuais
Efeito Backlash: Homens na maioria dos grupos femininos eram significativamente mais agressivos.
+Conclusão A programação pela sua própria natureza treina beneficiários
em dar o tipo de respostas ao inquérito que o programa gostaria de ouvir
A randomização agrava este problema
Medidas comportamentais são atraentes, mas: Medidas com alta validade externa pode tornar difícil de
deslindar os mecanismos em nível individual e comunitário Sintonia dos incentivos individuais chegam corretamente a
atitudes, mesmo quando os sujeitos são dirigidos para a resposta "certa": recompensa monetária vai induzir as pessoas a agir baseados em crenças realizadas em vez das "socialmente corretas"
Os laboratórios de atividades de campo vai abordar estas duas questões e fornecer uma ferramenta importante para medir os efeitos sociais dos programas, em alguma perda de validade externa