IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie
Last updated: 07/03/2006
EuropeAid

Bases Méthodologiques
Processus d'évaluation (Comment ?)
Analyse

EuropeAid
 

Contrefactuel

 


Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

Analyse
• Vue d'ensemble
• Stratégie d'analyse
• Exploration
• Confirmation
• Validité

 
 

De quoi s'agit-il ?

Le contrefactuel ou scénario contrefactuel, est une estimation de ce qui se serait produit en l'absence de l'intervention évaluée.
Les principales approches pour construire des scénarios contrefactuels sont ?

  • Groupe de comparaison
  • Modélisation

Top

Quelle est la finalité ?

En soustrayant le contrefactuel du changement observé (" factuel "), l'équipe d'évaluation peut estimer l'effet de l'intervention, ex : effet sur l'illetrisme, effet sur le revenu individuel, effet sur la croissance économique, etc.

Top

Groupe de comparaison

Une des principales approches pour construire des scénarios contrefactuels consiste à identifier un groupe de comparaison qui ressemble à celui des bénéficiaires en tous points, excepté le fait qu'il n'est pas touché par l'intervention. La qualité du scénario contrefactuel dépend fortement de la comparabilité des bénéficiaires et non-bénéficiaires. Quatre approches peuvent être considérées à cette fin.

Groupe de contrôle aléatoire

Cette approche, également appelée expérimentale, consiste à recruter et examiner deux groupes statistiquement comparables. Plusieurs centaines de participants potentiels sont identifiées et sont appelés à participer ou à ne pas participer à l'intervention, sur une base aléatoire. L'approche est très exigeante en termes de conditions préalables, de temps et des ressources humaines. Lorsque cette approche est réalisable et correctement mise en oeuvre, la plupart des facteurs externes (idéalement tous) sont neutralisés grâces aux règles statistiques, et la seule différence restante est la participation à l'intervention.

Top

Groupe de comparaison ajusté

Dans cette approche, un groupe de non participants est recruté et enquêté, par exemple des personnes qui ont demandé à participer mais qui ont été rejetés pour une raison ou pour une autre. Cette approche est également appelée " quasi-expérimentale ".
Afin d'obtenir une comparaison appropriée, la structure du groupe de comparaison doit être ajustée jusqu'à ce qu'elle soit suffisamment semblable à celle des participants au regard des facteurs clés comme l'âge, le revenu, le genre. De tels facteurs sont identifiés à l'avance dans un modèle explicatif. La structure du groupe de comparaison (par exemple par âge, revenu et genre) est ajusté en pondérant à la hausse ou à la baisse les membres appropriés jusqu'à ce que les deux structures soient semblables.

Top

Appariement

Dans cette approche, un échantillon de non participants est associé à un groupe de bénéficiaires sur une base individuelle. Pour chaque bénéficiaire (par exemple un fermier aidé), un pair non participant est choisi avec un profil semblable selon des facteurs clés qui doivent être contrôlés (par exemple l'âge, la taille de la ferme, le type de culture). Cette approche a souvent la plus faisable et peut être envisagée lorsque d'autres approches sont impossibles.

Top

Comparaison générique

Le scénario contrefactuel peut être construit en employant des bases de données statistiques. L'équipe d'évaluation commence par une observation d'un groupe de participants. Pour chaque participant, le changement observé est comparé à ce qui se serait produit pour un individu "moyen" ayant le même profil, grâce à une estimation tirée d'une analyse des bases de données statistiques, le plus souvent au niveau national.

Top

Approches de comparaison

Différentes formes de comparaison existent, chacune avec des avantages et inconvénients, et des degrés variables de validité :

  • une comparaison "après seulement" implique une analyse des différences entre les deux groupes (des participants et non des participants) après que les participants aient reçu une subvention ou un service. Cette approche est facile à mettre en application mais elle néglige les différences qui ont pu exister au début entre les deux groupes.
  • la comparaison "avant-après" porte sur l'évolution des deux groupes dans le temps. Elle exige de connaître le point zéro (baseline) (ex : à travers les données de suivi ou sous forme de statistiques, ou à grâce à une évaluation ex ante), ce qui n'est pas toujours possible. Le point zéro peut être reconstruit rétrospectivement, mais cela entraîne des risques pour la fiabilité.

Top

Forces et faiblesses en pratique

Un groupe de comparaison bien conçu fournit une estimation convaincante du scénario contrefactuel et par conséquent une base crédible pour l'attribution d'une part des changements observés à l'intervention.
Une limite à cette approche provient de la nécessité d'identifier les principaux facteurs externes à contrôler. L'analyse peut être totalement faussée si un facteur externe important a été négligé ou ignoré.
Un autre inconvénient est la nécessité de travailler avec des échantillons assez grands afin d'assurer la validité statistique. Il n'est pas toujours facile de prévoir la dimension de l'échantillon qui assurera la validité, et il se peut qu'après plusieurs semaines d'une coûteuse enquête, on s'aperçoive qu' est impossible de conclure.

Top

Modélisation

Le principe est de faire fonctionner un modèle qui simule correctement ce qui s'est passé dans la réalité (le changement observé) et puis de le faire tourner une autre fois avec une série d'hypothèse représentant un scénario "sans intervention".
Afin d'être utilisé dans une évaluation, un modèle doit inclure toutes les causes et les effets qui doivent être analysés, c'est à dire au moins les suivants :

  • Plusieurs causes incluant l'intervention elle-même et les autres facteurs explicatifs.
  • L'effet à évaluer.
  • Une relation mathématique entre les causes et les effets incluant des paramètres d'ajustement.

Les modèles complexes (par exemple macro-économiques) peuvent inclure des centaines de causes, des centaines d'effets, des centaines de relations mathématiques, des centaines de paramètres d'ajustement, et des mécanismes de causalité complexes comme des relations causales en boucle.
Lorsque un modèle est utilisé, l'équipe d'évaluation procède en trois étapes :

  • Une première simulation est réalisée avec des données issues de la réalité. Les paramètres sont ajustés jusqu'à ce que le modèle reflète correctement tous les changements observés.
  • L'équipe d'évaluation identifie les " impacts primaires " de l'intervention, ex : augmentation des ressources budgétaires du gouvernement, réduction de la dette publique, réduction des taux d'intérêt, etc. Une série d'hypothèses est élaborée afin de simuler le scénario " sans intervention ", qui est un scénario sans " impact primaire ".
  • Le modèle est utilisé une nouvelle fois pour simuler le scénario "sans intervention" (contrefactuel). L'impact est alors estimé par différence entre les deux simulations.

Les techniques de modélisation sont relativement demandeuses en terme de données et d'expertise. La charge de travail nécessaire pour construire un modèle n'est généralement pas proportionnée aux ressources disponibles à une évaluation. La conséquence est que l'approche par modélisation est réalisable seulement quand un modèle approprié préexiste, ainsi que l'expertise correspondante.

Top