Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats:...

41
Vérification des Résultats Résultats et recommandations d’une analyse de cas multiple Petra Vergeer, Tawab Hashemi, Martin Sabignoso, Olivier Basenya, Catherine Mugeni, Eubert Vushoma, Chenjerai Sisimayi

description

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French Version.

Transcript of Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats:...

Page 1: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Vérification des Résultats

Résultats et recommandations

d’une analyse de cas multiple

Petra Vergeer, Tawab Hashemi, Martin Sabignoso, Olivier Basenya,

Catherine Mugeni, Eubert Vushoma, Chenjerai Sisimayi

Page 2: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

• Une fonction relativement nouvelle • La vérification est la justification de premier ordre des résultats payés par le FBR,

y compris taux de couverture ou quantités de patients vus, qualité des services fournis, et satisfaction des patients.

• La contre-vérification est la justification de deuxième ordre des éléments ci-dessus, càd. qu’elle nécessite qu’une vérification de premier ordre ait été menée et qu’elle vérifie l’exactitude de cette dernière.

• Bailleurs de fonds et gouvernements extrêmement sensibles à de

potentiels “sur-paiements” dus à un gonflement des services rapportés

• Eviter un conflit d’intérêt en apparence ou bien réel: le prestataire est incité à “sur-rapporter“; un acteur séparé doit vérifier ce qui est rapporté.

La vérification: Un élément essentiel de la mise en

œuvre A ne pas confondre avec le Suivi & Evaluation!!

Page 3: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

• Processus pour assurer la cohérence du reporting de routine sur le volume (càd. quantité) des services achetés fournis (recomptage des données)

• Processus pour confirmer avec les patients que les services achetés ont été fournis (traçage des patients)

• Observation directe des conditions de la prestation de services et des soins en eux-mêmes pour évaluer la qualité

• Evaluation de la satisfaction des patients

• Les mécanismes de FBR incluent souvent de multiples approches

Différentes méthodes utilisées

Page 4: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Objectifs de l’analyse de cas multiple

• Etendre les connaissances sur les processus et les pratiques de

vérification afin d’adresser les besoin relatifs au design et à la

mise en œuvre des projets de FBR.

• Accroître les connaissances disponibles en comparant les

caractéristiques des stratégies de vérification ainsi que les

données disponibles sur les coûts (en utilisant le niveau d’effort

comme proxy), les économies, et les résultats de la vérification

dans six pays: Afghanistan, Argentine, Burundi, Panama, Rwanda,

et le Royaume Uni.

• Les cas pays ont été écrits avec un plan commun afin de décrire

les caractéristiques majeures de la méthode de vérification, les

résultats de la vérification, l’usage des résultats de la vérification,

les coûts, et les leçons et recommandations clé.

Page 5: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Aperçu des structures de

vérification et quiz interactif

Page 6: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Aperçu des structures de vérification

Afghanistan, Argentine, Burundi, Rwanda (FBR communautaire), Royaume Uni

Page 7: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Afghanistan: structure de la vérification

Il y a quatre types d’activités de vérification:

• Quantité de services vérifiée en formations, conduite

trimestriellement, ex ante, par un tiers, sur 25% des

prestataires;

• Traçage des patients, conduit trimestriellement, ex ante,

par un tiers, sur 25% des prestataires;

• Qualité des services évaluée par le Bureau de la Santé

Provincial (BSP) conjointement avec l’ONG

• Contre-vérification de la qualité à travers l’évaluation de la

formation sanitaire par un tiers, sur la base d’un

échantillon.

Page 8: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Il y a trois types d’activités de vérification:

• Vérification de l’inscription des bénéficiaires, conduite mensuellement, ex ante, en interne au niveau national, avec validation des données électroniques pour toutes les entrées, pas de visite de terrain;

• Contre-vérification de l’inscription des bénéficiaires, conduite tous les deux mois, ex post, par un tiers, avec validation des données électroniques pour toutes les entrées, et un échantillon est vérifié pour s’assurer de l’existence du formulaire d’inscription;

• Vérification de l’indicateur dit “traceur”, conduite tous les quatre mois, ex post, par un tiers, avec validation des données électroniques pour toutes les entrées, échantillon basé sur les risques des formations sanitaires (formations primaires avec nombre plus élevé de patients).

Argentine: Structure de la vérification

Page 9: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Burundi – structure de la vérification Il y a quatre types d’activités de vérification au Burundi:

• Vérification de la quantité, conduite mensuellement, ex ante, conjointement par les agents de vérification du Ministère de la Santé et des organisations de la société civile (partenariat public-privé), sur tous les sites;

• Vérification de la qualité technique, conduite trimestriellement, ex ante, en interne avec l’engagement de la société civile, sur tous les sites;

• Traçage de patient (y compris satisfaction du patient) en tant que partie intégrante du score de qualité, conduit bi annuellement, ex ante, par un tiers, chaque formation, sur la base d’un échantillon; (n.b. pour les trimestres sans traçage des patients, le score du trimestre précédent est utilisé dans les calculs)

• Contre-vérification de la quantité, qualité, et du traçage de patient, conduite trimestriellement, ex post, par un tiers, sur la base d’un échantillon.

Page 10: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Rwanda: Structure de la vérification

pour le FBR communautaire

Il y a quatre types d’activités de vérification:

• Vérification par la formation sanitaire de la quantité de références sur la base des informations des rapports soumis, mensuellement, ex ante, en interne, tous les indicateurs, tous les agents de santé communautaires (ASC). Le nombre de références est revérifié vis-à-vis des données de la formation sanitaire.

• Contre-vérification trimestrielle, par un comité de pilotage sectoriel (compris essentiellement de personnel de formation sanitaire – mais avec quelques membres de la communauté, considérés indépendants).

Page 11: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Rwanda: Structure de la vérification

(suite) • Tous les rapports des coopératives sont évalués chaque

trimestre concernant l’exhaustivité des données et la

soumission du rapport à temps, en interne. L’évaluation de

la gestion de la coopérative est menée par l’hôpital de

district. Chaque trimestre, 100% des coopératives sont

évaluées.

• La vérification du programme du côté de la demande n’est

pas systématique et est intégrée dans le suivi de la

formation sanitaire par l’hôpital de district.

Page 12: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Quiz interactif

Page 13: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Combien de temps cela prend-il d’observer des

améliorations dans les données du FBR du fait de

la vérification de la quantité?

1. Un (1) an

2. Deux (2) ans

3. Cinq (5) ans

Page 14: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Le niveau de concordance entre données du

système d’information et de gestion sanitaire (SIGS) et

données des formations augmente au cours du temps en

Afghanistan

• Structure o La vérification de la quantité des services dans les formations est conduite

trimestriellement, ex ante, par un tiers. 25% des prestataires sont échantillonnés

chaque trimestre.

• Résultats o Les taux d’erreur dans la vérification de la quantité ont diminué de 17% à 8% entre

2010 and 2013

% C

on

co

rdan

ce

83 83 83 83 86 87

89

93

89

95 94 91 92

75

80

85

90

95

100

Tendances dans le niveau de concordance entre données SIGS et données de la vérification au niveau de la formation pour la quantité de services

fournis

Page 15: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Les taux d’erreur dans les

inscriptions de bénéficiaires diminuent au

cours du temps en Argentine • Structure

Inscription des bénéficiaires:

o Vérification à travers la validation des données électroniques pour toutes les entrées (pas de

visite de terrain) mensuellement, ex ante, en interne au niveau national.

o Contre-vérification, tous les deux mois, ex post, par un tiers, validation des données

électroniques pour toutes les entrées, échantillon vérifié pour s’assurer de l’existence du

formulaire d’inscription;

• Résultats o Les taux d’erreur dans l’inscription des bénéficiaires ont diminué de 20% à moins de 1% en 2

ans

0.00%

5.00%

10.00%

15.00%

20.00%

25.00%

2004 2005 2006 2007 2008 2009 2010 2011 2012

% R

ecord

s R

eje

cte

d

Phase 1 Provinces Phase 2 Provinces

Figure: Contre-vérification de

l’ inscription des bénéficiaires

comparée aux entrées de données

soumises par les provinces en

Argentine, 2004-2012

% E

ntr

ées d

e d

onnées

reje

tées

Page 16: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: La contre-vérification montre

<10% erreurs au Burundi après 2 ans • Structure:

o Vérification de la quantité, conduite mensuellement, ex ante, conjointement par les agents

de vérification du Ministère de la Santé et des organisations de la société civile

(partenariat public-privé), sur tous les sites;

o Contre-vérification de la quantité, conduite trimestriellement, ex post, par un tiers, sur la

base d’un échantillon.

• Résultats: o La vérification interne a trouvé que 31% des déclarations pour les formations sanitaires

étaient rapportées avec des erreurs, contre 38% de celles pour les hôpitaux. La taille

moyenne de l’erreur était de 5% pour les formations sanitaires et de 4% pour les hôpitaux.

o Les différences entre la vérification et la contre-vérification par un tiers de la quantité

après 2 ans de mise en œuvre du FBP à l’échelle nationale étaient petites (<1%) pour les

formations sanitaires. Les différences pour les hôpitaux étaient bien plus grandes (9%)

mais peuvent être expliquées en partie par un manque de registres standardisés parmi les

hôpitaux.

Page 17: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Diminution de la taille du “sur-

rapportage” des indicateurs au Rwanda

• Structure o La vérification par la formation sanitaire de la quantité de références sur la

base des informations des rapports soumis est faite mensuellement, ex ante, par un agent de vérification en interne. Tous les indicateurs et tous les agents de santé communautaires (ASC) sont vérifiés. Le nombre de références est revérifié vis-à-vis des données de la formation sanitaire.

• Résultats o Le pourcentage d’indicateurs de service qui contenaient des erreurs n’a

pas beaucoup changé, avec 49% des rapports sur les indicateurs inexacts au T4 2012 (23% sur-rapportés et 26% sous-rapportés). Cependant, la taille de l’erreur liée au “sur-rapportage” a fortement diminué (de plus de 140% à environ 7%) en deux ans.

o Ceci renvoie aux incohérences entre la performance telle qu’auto-évaluée par les ASC au niveau de la cellule, et la performance après que le processus de vérification soit complété.

Page 18: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Après deux ans de mise en oeuvre, quel était le

pourcentage moyen de patients tracés qui ne pouvaient

être trouvés?

1. 20%-30% de tous les patients tracés ne pouvaient être trouvés

2. 10% des patients tracés à partir des formations sanitaires et 15% des patients tracés à partir des hôpitaux ne pouvaient être trouvés

3. <10% des patients tracés à partir des formations sanitaires et 15% des patients tracés à partir des hôpitaux ne pouvaient être trouvés

Page 19: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Pourcentage de patients

manquants réduit au cours du temps en

Afghanistan

• Structure o Le traçage des patients est conduit trimestriellement, ex ante, par un tiers, et 25%

des prestataires sont échantillonnés.

• Résultats o Les “patients manquants” réduits de 33% à 7% entre 2010 et 2013

% C

on

co

rdan

ce

67 77 83 86 89 89 91 92 94 95 96 93 93

0

20

40

60

80

100

120

Tendances dans le niveau de concordance entre données SIGS et données

de la vérification au niveau communautaire pour la quantité de services

fournis

Page 20: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: La plupart des patients tracés à

partir des formations sanitaires, mais plus

difficiles à partir des hôpitaux au Burundi • Résultats

o Au T1 2012, 7.4% des patients tracés à partir des

formations sanitaires (cf. graph ci-dessous) et 15.4% des

patients tracés à partir des hôpitaux ne furent pas

retrouvés.

o Plus de 98% de ceux qui furent trouvés (pour formations

et hôpitaux) ont confirmé avoir reçu les services

enregistrés.

o La contre-vérification du traçage des patients est faite

mais avec un échantillon nouvellement tiré et de ce fait

aucune comparaison ne peut être faite entre vérification

et contre-vérification.

• Structure

o Traçage de patient (y compris satisfaction du

patient) conduit bi annuellement, ex ante, par un

tiers, chaque formation, sur la base d’un

échantillon;

o Contre-vérification du traçage de patient, conduite

trimestriellement, ex post, par un tiers, sur la base

d’un échantillon.

Figure: Résultats du traçage de patients de la formation sanitaire 2011-2012

Page 21: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Une étude nationale au Rwanda identifie la

plupart des patients dans la communauté

• Structure:

• Une étude nationale, qui doit être distinguée du traçage des patients régulier

comme celui du Burundi ou de l’Afghanistan, a été menée par le Ministère de la

Santé en 2012 et a inclus, entre autres, le traçage des patients dans la

communauté

• Résultats:

• 97% des patients pouvaient être identifiés dans la communauté.

• De ceux qui ont été trouvés, 97% ont confirmé avoir été traité à la formation

pour les services pour lesquels l’ASC les avait référés.

• De plus, 98% des femmes éligibles ont confirmé avoir reçu des incitations en

nature.

Page 22: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Quels sont les liens entre la confidentialité

du patient et la vérification?

1. Il n’y a aucun souci concernant la confidentialité des

patients dans la vérification

2. Les inquiétudes vis-à-vis de la protection de la

confidentialité des patients résultent dans l’exclusion de

certains indicateurs de la vérification (ex.: planing familial)

3. Des vérifications électroniques des entrées de données

aident à protéger la confidentialité des patients car les

données du patient sont dé-identifiées

4. 2 et 3 sont correctes

Page 23: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Indicateurs exclus par souci de

confidentialité au Burundi

• Résultats – Burundi

o Seulement 9 des 22 indicateurs en formation sanitaire et 8 des 24

indicateurs en hôpital sont vérifiés dans le cadre du traçage des

patients pour des raisons de confidentialité. Les indicateurs sur le VIH,

la tuberculose, et le planning familial sont exclus.

o De ce fait, l’existence de “patients fantômes” pour près de la moitié des

indicateurs des formations sanitaires, et pour un tiers des indicateurs

des hôpitaux, n’est jamais évaluée.

Page 24: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Quels types d’indicateurs ont des taux

d’erreur élevés?

1. Indicateurs avec un fort volume de patients

2. Indicateurs avec des définitions complexes

3. Indicateurs avec des difficultés

d’inscription

4. Indicateurs ayant des incitations à forte

valeur

5. 1 et 2 sont corrects

6. 1, 2 et 3 sont corrects

Page 25: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Les indicateurs avec un fort taux de

réalisation et avec des définitions complexes ont

des taux d’erreur plus élevés au Burundi

• Résultats o Les indicateurs avec un fort taux de

réalisation ont le niveau d’erreur le

plus élevé. Ce sont des indicateurs où

le risque d’erreur lors du comptage

peut être plus élevé.

o Les indicateurs avec des définitions

compliquées ont aussi des erreurs

plus élevées. Les formations ont plus

de chance de compter un service qui

ne correspond pas à la définition et

qui ne sera pas validé par l’équipe de

vérification.

o Les indicateurs avec des incitations

élevées n’ont pas de taux d’erreur

élevés

10 Indicateurs avec le plus haut taux d’erreur

identifié durant la vérification en formation sanitaire

(Janvier-août 2012)

Indicateur % exactitude

des données

déclarées

n

Consultation (enfant) 22% 4,085

Consultation (adulte) 30% 4,085

Jour d’observation (enfant) 44% 3,802

Consultation (femme

enceinte)

44% 4,062

Petite chirurgie 53% 3,987

Planning familial 58% 3,458

Enfant complètement

vacciné

67% 4,065

Vaccination anti-tétanos

(TT2-TT5)

68% 4,055

Jour d’observation (adulte) 69% 2,896

Consultation prénatale 67% 4,074

Page 26: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Les indicateurs avec un taux élevé de

réalisation ont des taux d’erreur plus élevés au

Rwanda • Résultats

o Le suivi de la malnutrition a eu le taux d’erreur le plus élevé au Rwanda, ce qui pourrait

être dû au large nombre d’enfants impliqués.

Table: Pourcentage de rapports inexacts détectés par les formations sanitaires et par les comités de pilotage

sectoriels dans les 4 secteurs visités pour 8 indicateurs rémunérés, durant T4 2010, T4 2011 et T4 2012

Indicateur

Erreurs détectées par la formation sanitaire (comparaison entre rapports cellule et secteur)

Erreurs détectées par le comité de pilotage du secteur (comparaison

entre rapports sectoriels et base de données nationale)

% indicateurs inexacts

Nb. de rapports % indicateurs

inexacts Nb. de rapports

Femme accompagnée pour accouchement

51% 35 14% 35

Femme accompagnée pour soins anténataux

43% 35 14% 35

Patients accompagnés pour CTV 49% 35 20% 35

Enfants suivis pour état nutritionnel 59% 34 29% 34

Utilisateurs de planning familial référés 23% 35 23% 35

Cas de TB suivis par mois 23% 35 37% 35

Cas suspecté de TB référé 37% 35 41% 34

Femme référée pour PTME 52% 33 36% 33

Total 42% 277 27% 276

Page 27: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: Les taux d’erreur plus élevés sont

associés à des difficultés d’inscription en

Argentine • Structure

o La vérification de l’indicateur dit “traceur” est conduite tous les quatre mois, ex post, par un tiers. La validation des données est faite pour toutes les entrées, et un échantillon basé sur les risques des formations sanitaires est sélectionné (formations primaires avec nombre plus élevé de patients).

• Résultat o Des taux d’erreur plus élevés sont

associés avec:

• Manque d’outils d’inscription (traceur VII)

• Faible adhérence aux normes d’inscription (traceur IX)

• Plus d’une source de données doit être utilisée (traceur IV)

Traceur % résultats avec

taux d’erreur

>20% de

déclaration

% résultats avec

taux d’erreur

>40% de

déclaration

I Détection précoce des

femmes enceintes 23% 3%

II Efficacité de la naissance et

des soins néonataux 6% 1%

III Efficacité des soins

anténataux et prévention de la prématurité

7% 1%

IV Efficacité des soins

anténataux et des soins lors de l’accouchement

19% 5%

V Evaluation des cas de décès

maternels et infantiles sur tous les cas de décès

maternels et infantil

5% 3%

VI Couverture de l’immunisation 10% 1%

VII Soins sexuels et reproductifs 18% 6%

VIII Suivi enfant en bonne santé

jusqu’à 1 an 11% 3%

IX Suivi enfant en bonne santé

entre 1 et 6 ans 24% 7%

X Inclusion de la population

indigène 6% 2%

Table: Taux d’erreur >20% et >40% par indicateur 2008-

2012 identifiés par la contre-vérification

Page 28: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Pourquoi y a-t-il une grande différence entre

vérification et contre-vérification de la qualité?

1. Délai temporel entre vérification et contre-vérification

2. Conflit d’intérêt potentiel entre ceux qui évaluent la qualité

et ceux contractualisés pour fournir les services

3. L’objectivité de l’outil de mesure est compromise

4. Les sanctions pour des incohérences entre la vérification

et la contre-vérification ne sont pas appliquées

5. Toutes les réponses ci-dessus sont correctes

Page 29: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: vérification de la qualité en

Afghanistan • La Checklist de Suivi Nationale (CSN) est utilisée pour la vérification de la qualité.

o Les personnes entretenues comprennent que le paiement est lié à la qualité.

o Cependant, elles ne savent pas forcément très clairement quels indicateurs spécifiques sont

liés au paiement de la qualité (ex.: infrastructure de la clinique, données du système

d’information de la santé SIGS de la formation et médicaments essentiels issus de la CSN font

tous partie des indicateurs qui constituent le paiement pour la qualité).

• ONG et Ministère de la Santé Publique – Superviseurs SM remplissent la CSN lors de leur

visite de supervision routinière aux formations sanitaires.

o Cependant, souvent les PPHOs ne se joignent pas aux visites de formations sanitaires, ce qui

peut conduire à des conflits d’intérêt.

• La carte de score équilibrée (CSE, ou BSC) est utilisée pour la vérification aux hôpitaux du

niveau provincial.

o Du fait de délais de mise en œuvre de la CSE, les paiements des bonus aux hôpitaux ont aussi

été retardés

• La CSE devait aussi servir de moyen de trianguler les résultats de la CSN au niveau

provincial

o Du fait de délais dans la mise en œuvre de la CSE, ceci n’a pas été mis en œuvre.

Page 30: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Résultats: la vérification de la qualité

au Burundi • Différence systématique entre la vérification et la contre-vérification de la qualité

(79% des formations sanitaires et 84% des hôpitaux)

• La qualité technique a été surestimée (de 11% dans les formations sanitaires et de 17% dans les hôpitaux).

• La surestimation peut être expliquée par trois facteurs: o Labs de temps entre vérification et contre-vérification

o L’équipe de contre-vérification est plus rigoureuse

o Possible conflit d’intérêt car les hôpitaux pairs examinent les autres hôpitaux et les équipes de santé provinciales examinent leurs propres formations sanitaires. Les sanctions n’ont pas été appliquées pour les incohérences trouvées durant la contre-vérification.

Différence moyenne

% avec surestimation

Surestimation moyenne

% avec sous-estimation

Sous-estimation moyenne

n

Formations sanitaires

-11% 79% -20% 21% 24% 101

Hôpitaux -17% 84% -24% 16% 20% 32

Table. Différence entre l’évaluation de la qualité technique faite par le BPS, BDS ou les pairs et la contre-vérification faite par HDP

dans tous les hôpitaux et formations sanitaires contre-vérifiées durant les 8 tournées de contre-vérifications, 2010-2012

Page 31: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Recommandations clé 1. Considérer le contexte pour déterminer si fusionner des

fonctions est approprié (être attentif au conflit d’intérêt)

2. Analyser et utiliser les données disponibles de la

vérification et la contre-vérification

3. Les stratégies de vérification devraient être dynamiques,

pas statiques, et utiliser une approche basée sur les

risques

Page 32: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Facteurs influençant la vérification: un

cadre conceptuel Contexte

Caractéristiques de la vérification Impact sur exactitude,

coût, durabilité

Caractéristiques du FBR LOGIQUE DERRIÈRE FBR TYPE DE CONTRAT

USAGE DES RESULTATS DU FBR

Améliorer résultats de santé/RSS Relationnel

Paiement améliorant la performance

Resp.té financière/contrôle des coûts Classique

Transparence, Nommer & faire honte

Mensuelle

Oui Large

Tout l’univers

Interne

Résultats de la vérification et leur usage

FREQUENCE

MARGE D’ERREUR AUTORISABLE

TAILLE DE L’ECHANTILLON ARRANGEMENT INSTITUTIONNEL PREMIER AVERTISSEMENT Non

Petite

Tiers

Apprentissage, Correction des erreurs Recouvrement des coûts, sanction

FREQUENCE DES PAIEMENTS Mensuellement Annuelle

ENVIRONNEMENT POLITIQUE GOUVERNANCE CULTURE

Approche basée sur le risque

Annuelle

Page 33: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Quand et comment changer votre

stratégie de vérification…examinez les

taux d’erreur de la vérification de quantité

1

Tendances au niveau

des formations

Tendances au niveau

des indicateurs

Généralisées

parmi toutes les

parties

contractualisées

Localisées dans

certaines formations

(par zone

géographique)

Localisées

dans certains

types de

formations

Indicateurs

avec des

critères de

conformité

complexes

Indicateurs qui sont

récompensés plus

fréquemment et/ou

qui ont un volume de

patients plus élevé

Indicateurs

récompensés à

un niveau plus

élevé

Examinez les taux d’erreur

de la vérification de

quantité

Activités à

explorer

Activités à

explorer

Page 34: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Echantillonnage basé sur les risques

pour la vérification • Utiliser une approche d’échantillonnage basée sur les risques

probablement plus coût-efficace

• Echantillonner les parties contractualisées (ex.: formations) avec

des critères de sélection, tels que: o Plus grand volume (comme en Argentine)

o Cas singuliers dans leur performance par rapport aux moyennes de la province ou nationales

(comme au Royaume Uni)

• Echantillonner les indicateurs avec critères de sélection tels que: o Plus grand volume (potentiellement plus enclin à l’erreur comme au Burundi et au Rwanda

par exemple)

o Plus complexe (potentiellement plus enclin à l’erreur comme en Argentine par exemple)

o Plus grande valeur monétaire

• Toujours s’assurer qu’une menace crédible de vérification

demeure pour toutes les parties contractualisées

Page 35: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

-15

-10

-5

0

5

10

15

HF1 HF2 HF3 HF4 HF5 HF6

Différence entre Totaux sur 6 mois Déclarés et Vérifiés

Dans 5% de différence

Vérification basée sur les risques – le

modèle du Zimbabwe

Catégorie verte:

• Vérifiée sur base

trimestrielle

Catégorie ambre

• Vérifiée bimensuellement –

2 mois sélectionnés

aléatoirement

Catégorie rouge

• Vérifiée sur base mensuelle

• Intègre aussi nouvelles

formations

Différence supérieure à

5% mais inférieure ou

égale à 10% Différence supérieure à

10%

•Modèle basé sur trois niveaux de

risque

•Comparaison entre valeurs

déclarées et vérifiées pour des

totaux de 6 mois

Page 36: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Exemple au niveau du district

Formation

sanitaire

Total

Déclaré

Total

Vérifié

%

Différence

Hoyuyu

1 1011 1016 0%

Matedza 344 325 6%

Kawazva 327 417 -28%

Formations échantillonnées

(District de Mutoko)

• Les districts ont un mélange de formations

à des niveaux de risques différents

Page 37: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Total des formations par catégorie

de risque

85 63

244

0

50

100

150

200

250

300

Red Amber Green

Nom

bre

de f

orm

ations

Catégorie

Page 38: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Sujets de recherche additionnelle

dans la vérification

• Coûts, économies, et coût-efficacité de la

vérification et de la contre-vérification

• Application de la technologie à la vérification

et potentielles économies de coûts

• S’assurer que la confidentialité des patients

est protégée

• Traçage des patients

• Mesurer la qualité

Page 39: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Conclusions • Le cadre conceptuel vise à aider ceux qui mettent en

oeuvre le FBR et les décideurs politiques dans leurs

délibérations quant aux conséquences de diverses

caractéristiques de la vérification sur l’exactitude, le coût,

et la durabilité d’une approche choisie.

• Les stratégies de vérification ne sont pas statiques mais

devraient être un processus dynamique. L’outil “chemin”

peut guider l’adaptation des stratégies de vérification.

• S’il n’existe pas de méthode optimale de vérification qui

soit appropriée dans tous les contextes, les

recommandations fournies peuvent être utiles pour

considération dans divers contextes.

Page 40: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

References • Cashin, Cheryl and Lisa Fleisher. Verification of performance in results-based financing:

the case of Afghanistan. World Bank: Washington, DC. Forthcoming.

• Cashin, Cheryl and Petra Vergeer. (2013). Verification in results-based financing: the case

of the United Kingdom. World Bank: Washington, DC.

https://openknowledge.worldbank.org/handle/10986/13567

• Perazzo, Alfredo. Verification of performance in results-based financing: the case of

Panama. World Bank: Washington, DC. Forthcoming.

• Perazzo, Alfredo and Erik Josephson. Verification of performance in results-based

financing: the case of Argentina. World Bank: Washington, DC. Forthcoming.

• Renaud, Adrien. Verification of performance in results- based financing: the case of

Burundi. World Bank: Washington, DC. Forthcoming.

• Renaud, Adrien and Jean-Paul Semasaka. Verification of performance in results-based

financing: the case of the Rwanda community RBF interventions: community PBF and

demand side scheme. World Bank: Washington, DC. Forthcoming.

• Vergeer, Petra, Anna Heard, Erik Josephson, and Lisa Fleisher. Verification in results-

based financing for health: findings and recommendations from a cross-case analysis.

World Bank: Washington, DC. Forthcoming.

Page 41: Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

Merci