1 Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales...
-
Upload
gisele-barbot -
Category
Documents
-
view
113 -
download
2
Transcript of 1 Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales...
1
Introduction to Impact Evaluation Training Dakar, December 15-18, 2008
Méthodes Expérimentales
Harounan Kazianga
Oklahoma State University
2
Motivation
• Objectif: estimer l’effet CAUSAL (impact) d’une intervention X (programme ou traitement) sur un résultat Y (e.g. indicateur, mesure de succès)
• Exemple: Quel est l’effet d’un– Programme de transferts monétaires (X)– Sur la Consommation des ménages
• Pour l’inférence causale, nous avons besoin de comprendre comment les bénéfices sont distribués
3
Motivation
Effet incrémentieldu au programme
L’effet d’autres influences est identique entre groupe de contrôle et groupe de traitement
Groupe contrôle
Groupe exposé au traitement
4
Causatilé versus Correlation
• Correlation n’est pas Causalité– Condition nécessaire mais pas suffisante
– Correlation: Il y a une relation entre X et Y • X change quand Y change• Et….• Y change quand X change
– Exemples: croissance economique d’une region et migration; revenu et santé
– Causalité – Si nous varions X, de combien X change• Un changement de X entraîne un changement de Y• L’inverse n’est pas necessairement vrai.
5
Causalité versus Correlation
Trois critères de causalité
– La variable indépendante précède la variable dépendante.
– Il existe une relation entre la variable indépendante et la variable dépendante.
– Il n’existe pas un troisième groupe de variables qui puissent expliquer la relation entre la variable indépendante et la variable dépendante.
6
• Analyse Statistique: Inférer une relation causale entre X et Y, a partir de données observées. – Difficultés & techniques statistiques complexes– On n’est jamais sur si on mesure le vrai impact
• Evaluation d’Impact: – Approche rétrospective:
• Mêmes difficultés que dans l’analyse statistique
– Approche prospective:• Le chercheur génère les données • Cette approche rend les choses plus simples
Analyse Statistique et Evaluation d’Impact
7
Comment Mesurer l’Impact
• Quel est l’effet de transferts monétaires (Y) sur la consommation des ménages (X)?
• Idéalement: – Maintenir le temps constant– comparer le même individu avec & sans le
programme
8
Comment Mesurer l’Impact
• Problème: On ne peut pas observer le même individu avec et sans le programme, et en même temps.
• Nécessité de construire un scénario contrefactuel:– Ce qui serait arrivé à un individu ayant reçu
le programme si celui-ci n’avait pas reçu le programme.
9
Etude de Cas: Transferts monétaires
• Programme national de lutte contre la pauvreté au Mexique (Progresa)– Lancé en 1997 – Transferts monétaires conditionnés sur la
fréquentation scolaire
• Question: quel est l’effet du programme sur les performances scolaires et la consommation des ménages?
10
Etalon Standard:Méthode Expérimentale
• La seule méthode qui puisse garantir: – l’équilibrage entre caractéristiques
inobservées et observées– la seule différence est le traitement
• Chaque individu est assigné au traitement ou au contrôle, à chances égales
• Si grand échantillon, les caractéristiques sont identiques en moyenne.
• Méthode expérimentale= Evaluation randomisée
11
“Randomisation”
• Quelle est le sens du terme “randomisation” dans ce contexte?– Chances de participation au programme égales pour
tous les individus• Dans le cas des transferts monétaires
• Options– Loterie– Loterie parmi les individus éligibles– Phasage – Encouragement– Randomisation des traitements
12
Types de Randomisation
• Sélection aléatoire: validité externe– Les résultats obtenus a partir de l’ échantillon sont
représentatifs de toute la population– Quelles leçons du programme sont applicables a tout
le pays
• Assignement aléatoire: validité interne– Effet observe entièrement du au traitement et pas a
d’autres facteurs– En général, les résultats ne sont pas extrapolables
sans des présuppositions• Exemple: programme des transferts dans une
région vs un échantillon national
13
Randomisation
Randomisation
Validité externe
(échantillon)
Validité interne
(identification)
Externe vs Interne
14
Exemples: Distribution de livres
• Quel est l’impact d’une dotation gratuite de livres sur les performances scolaires des élèves?
• Assigner aléatoirement chaque groupe d’élèves a un: :- Groupe de Traitement – reçoit les livres
- Groupe de Contrôle – ne reçoit pas les livres
15
Exemples: Distibution de livres
Allocation aléatoire
16
Exemples: nutrition scolaire au Burkina Faso
• Impact de deux types de nutrition scolaire sur les performances scolaires et la nutrition des enfants au Burkina Faso
• Trois groupes de villages après un tirage au sort :– Un groupe ou les élèves reçoivent un déjeuner a
l’école– Un groupe ou les élèves reçoivent une ration
sèche a emporter chaque mois, sous la condition de 90% de fréquentation
– Un groupe contrôle (ne reçoit rien)
17
Exemples: nutrition scolaire au Burkina Faso
• Calendrier des interventions et de l’EI:– Enquête de base dans tous les villages éligibles
– Tirage au sort en présence des représentant de toutes les écoles
– Interventions (distribution des repas et des rations sèches) toute l’année scolaire par le PAM
– Enquête de suivi
18
Exemples: nutrition scolaire au Burkina Faso
• Quelques résultats préliminaires
– Augmentation entre 6 et 7 % des nouvelles inscriptions pour les filles par les deux types de nutrition scolaire
– Amélioration de la nutrition infantile (enfants de 6-60 mois) par la distribution de ration sèche.
• Une fois finalisées, ces résultats vont servir de base a décision dans le passage d’ échelle.
19
Comment randomizer?
1) A quel niveau? – Individuel – Groupe
• Ecole• Communauté/village • District/département/province/préfecture
20
Quand utiliser la randomisation?
• Les ressources disponibles a un moment précis sont insuffisantes pour satisfaire la population éligible a un programme– Une approche équitable et transparente– Chances égales a tout le monde dans l’ échantillon
• Périodes appropriées a la randomisation– Programmes pilotes– Programmes avec des contraintes
budgétaires/humaines– Programmes en phases
21
Eléments de base d’une Evaluation Expérimentale
Population Cible
Participants Potentiels
Echantillon d’Evaluation
Allocation Aleatoire Based on Orr (1999)
Toute la population pauvre
Les communautes dans lesquelles le programme sera
executé
Choisir l’echantillon avec lequel on veut travailler dans l’immédiat
22
Au-delà de la simple allocation aléatoire
• Plusieurs Traitements– Traitement 1, Traitement 2, Contrôle– Transferts monétaires conditionnels, Transferts
monétaires non conditionnels, control– Quelles leçons pouvons nous tirer?
• Unites autres que l’individu ou le ménage– Centres de sante (distribution de moustiquaires)– Ecoles (projets de nutrition scolaire)– Administrations locales (corruption/gouvernance
locale)– Villages (développent-a-base communautaire)
23
Unité de randomisation
• Randomisation a l’ échelle de l’individu ou du ménage: meilleure option en termes de couts
• Randomisation a des niveaux plus agrégés nécessite de grands échantillons
• Certains programmes sont implémentés a un niveau agrégé– e.g., renforcements des comites de gestion des
écoles
24
Efficacité & Effectivité
• Efficacité– Crédibilité du Concept– Pilot sous des conditions idéales
• Effectivité– A l’ échelle– Circonstances normales et capacités– Impact plus ou moins élevé?– Couts plus ou moins élevés?
25
Avantages de la méthode expérimentale
• Impact causal clair
• Comparée a d’autres approches:– Facile a analyser– Peu cher (échantillons en plus petits)– Facile a communiquer– Plus convaincant pour les décideurs– Pas de controverses sur la méthodologie
26
Que faire quand la randomisation semble impossible?
• Contraintes budgétaires: randomiser parmi ceux qui ont besoin du programme
• Capacité d’exécution: randomiser qui reçoit le programme premièrement
• Promouvoir le programme a certains groupes choisis de manière aléatoire
27
Quand la randomization est impossible?
• Le programme a déjà été alloué et annoncé
et le programme ne sera pas étendu
• Le programme est achevé (rétrospective)
• Eligibilité et accès pour tout le monde– Exemple: éducation gratuite pour tous,
régime du taux de change