IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie
Last updated: 07/03/2006
EuropeAid

Bases Méthodologiques
Processus d'évaluation (Comment ?)
Analyse

EuropeAid
 

Analyse de causalité

 


Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

Analyse
• Vue d'ensemble
• Stratégie d'analyse
• Exploration
• Confirmation
• Validité

 
 

De quoi s'agit-il ?

Approche par laquelle l'équipe d'évaluation établit l'existence d'un lien de cause à effet, et / ou l'importance d'un effet.

Top

Attribution ou contribution ?

Analyse d'attribution

L'analyse d'attribution a pour objet d'apprécier la proportion des changements observés qui sont effectivement attribuables à l'intervention évaluée. Elle implique la construction d'un scénario contrefactuel.

Top

Analyse de contribution

L'analyse de contribution vise à démontrer si l'intervention évaluée est une des causes des changements observés ou non. Elle peut également classer l'intervention évaluée parmi les différents facteurs explicatifs des changements observés. L'analyse de contribution repose sur des chaînes d'arguments logiques qui sont vérifiés grâce à une analyse confirmatoire attentive. Elle comprend les étapes successives suivantes :

  • Raffiner les liens de cause à effet qui mettent en relation la conception et la mise en œuvre d'une part, et l'effet évalué d'autre part. Cette étape se fonde sur les explications disponibles concernant le domaine évalué. Ces explications dérivent du diagramme des effets escomptés réalisé lors de la première phase de l'évaluation, ou de l'expertise de l'équipe d'évaluation, ou encore des analyses exploratoires.
  • Rassembler des éléments de preuves relatifs à chaque lien de cause à effet, parmi lesquels les constats d'études similaires, les relations causales énoncées par les interviewés, et les éléments de preuves issus d'enquêtes approfondies.
  • Rassembler des éléments de preuves relatifs aux explications alternatives (autres interventions, facteurs externes).
  • Développer une chaîne d'argument pas à pas établissant que l'intervention a (ou n'a pas) apporté une contribution, et éventuellement classer l'intervention parmi les autres contributions.
  • Soumettre le raisonnement à une critique systématique jusqu'à ce qu'elle soit suffisamment robuste.

Top

Approches analytiques

Contrefactuel

L'approche est résumée dans le diagramme ci-dessous :

La ligne "avec politique" montre les changements observés, mesurés avec un indicateur d'impact, entre le début de la période évaluée (point zéro) et la date de l'évaluation. Par exemple : l'emploi local a augmenté, l'illettrisme a reculé. L'impact représente uniquement la part du changement qui est attribuable à l'intervention.
La ligne "sans politique", également appelée contrefactuel est une estimation de ce qui se serait passé sans l'intervention. Elle peut être obtenu avec des approches appropriées comme les groupes de comparaison ou les techniques de modélisation. L'impact est apprécié à partir de l'indicateur "avec politique" tel qu'il a été observé, en soustrayant l'estimation de l'évolution "sans politique".
Puisqu'elle est dérivée d'une estimation du contrefactuel, l'appréciation d'impact est elle-même une estimation. En d'autres termes, les impacts ne peuvent pas être mesurés directement. Ils peuvent juste être dérivé d'une analyse des indicateurs d'impact.
Seul un contrefactuel peut fournir une estimation quantitative de l'impact. Quand elle réussit, cette approche dispose d'un fort potentiel d'apprentissage et de rétroaction. Elle est cependant très exigeante en termes de données et de ressources humaines ce qui en fait une pratique plutôt inhabituelle dans la pratique d'évaluation des pays en développement.

Top

Etudes de cas

Une autre approche analytique repose sur les études de cas. Elle se construit sur la base d'une enquête approfondie sur un ou plusieurs cas réels sélectionnés dans le but de tirer des enseignements à l'échelle de l'ensemble de l'intervention. Chaque monographie d'étude de cas décrit les changements observés en détails. Une bonne monographie d'étude de cas décrit également le contexte de façon fine, ainsi que tous les facteurs significatifs qui peuvent expliquer pourquoi les changements ont eu lieu ou non.
Dans une telle approche, l'équipe d'évaluation analyse l'ensemble des faits et des énoncés collectés et vérifie s'ils sont compatibles avec des affirmations telles que : "le changement peut être attribué à l'intervention", le changement peut-être attribué à une autre cause, l'absence de changement peut être attribué à l'intervention", etc.
Une seule étude de cas peut pleinement démontrer que l'intervention ne fonctionne pas comme prévu et apporter une explication convaincante de ce fait. Cependant, il est préférable de confirmer un tel constat par une ou deux autres études de cas.
D'autre part, démontrer que l'intervention a réussi demande un plus grand nombre d'études de cas parce que toutes les explications alternatives doivent être rigoureusement recherchées et rejetées.
Si elle est mise en œuvre avec professionnalisme, l'étude de cas fournit une analyse de contribution hautement crédible et conclusive. L'approche est cependant très contraignante en terme de temps et de ressources humaines qualifiées.

Enoncés causals

L'approche est construite sur la base de documents, d'entretiens, de questionnaires et / ou de focus groups. Elle consiste à collecter les points de vue des parties prenantes sur les causes et les effets. Les points de vue des différentes catégories d'acteurs sont ensuite croisés (triangulés) jusqu'à ce qu'une interprétation satisfaisante soit obtenue. Un panel d'experts peut être un appui utile dans ce processus.
Une manière particulière de mettre en oeuvre cette approche consiste à collecter les points de vue des bénéficiaires sur les impacts ou les résultats directs. Typiquement, on pose à un échantillon de bénéficiaires une question du type : "D'après vous, combine d'emplois ont été créés/supprimés grâce à l'aide que vous avez reçu ?" ou "Dans quelle mesure votre situation/comportement actuel est-il liée à votre participation à l'intervention ?". Dans cette approche, il est demandé à l'interviwé d'estimer lui-même le scénario "sans politique".
Les équipes d'évaluation ont tendance à privilégier cette approche qui est nettement plus faisable, mais l'on ne doit pas oublier que la difficulté revient au répondant. Le plus souvent, les interviewés n'ont pas une vision claire du scénario "sans politique". Ils essaient de s'en faire une idée en quelques secondes au moment de l'entretien et à ce moment, ils sont sujets à toutes sortes de biais.
Quand elle interroge des bénéficiaires, l'équipe d'évaluation doit souvent faire face à la difficile question des effets d'aubaine (deadweight), liée au fait que les interviewés ont tendance à exagérer l'influence de l'intervention sur leur propre comportement ou situation. En d'autres termes, ils ont reçu une aide et lui attribuent le mérite de changements qui auraient eu lieu de toutes façons. Cela entraîne un biais appelé effet d'aubaine (deadweignt).
Dans le but d'éviter ce biais, l'équipe d'évaluation ne doit jamais poser de question naïve telle que " Combien d'emploi ont été créés grâce au soutien reçu ? " ou " Comment votre revenu a évolué suite au projet ? ". Au contraire, plusieurs questions triangulées peuvent permettre à l'équipe d'évaluation d'apprécier et de réduire le biais. Les énoncés des bénéficiaires sont qualifiées d' " effets brut " (comprenant le biais) tandis que l'estimation de l'équipe d'évaluation est appelée " effet net " (corrigée du biais).

Top

Méta-analyse

Cette approche est construite sur les documents disponibles, par exemple :

  • Travaux précédents relatifs à l'intervention évaluée dans son ensemble (rapport de monitoring, audit, bilan…)
  • Rapports récents relatifs à une partie de l'intervention, comme un projet, un secteur, une question transversale (rapport d'évaluation mais aussi rapport de suivi, audit, bilan…)
  • Enseignements tirés d'autres interventions et qui peuvent être utilisées pour répondre à la question posée.

Lorsqu'elle réalise une méta-analyse, l'équipe d'évaluation a besoin (1) d'apprécier la qualité de l'information fournie par les documents examinés, et (2) d'apprécier sa transférabilité dans le contexte de l'évaluation menée.

Top

Généralisation

Les deux premières approches (contrefactuel et étude de cas) ont le meilleur potentiel pour aboutir à des constats généralisables (voir validité externe), bien que de manière différente.
Les constats peuvent être généralisables quand les principaux facteurs externes sont connus et que leur rôle est compris. Les approches contrefactuelles sont construites à partir d'hypothèses sur les principaux facteurs externes, et tendent à contrôler ces facteurs au travers de comparaisons statistiques impliquant de grands échantillons. Les études de cas tendent à contrôler ces facteurs externes au moyen d'une compréhension approfondie des mécanismes de cause à effet.

  Contrefactuel Etude de cas
Facteurs
externes
Identifiés à l'avance Identifiés à l'avance ou découverts pendant l'étude
Contrôle
des
facteurs externes
Quantitatif, grands échantillons, techniques statistiques Compréhension approfondie des mécanismes de cause à effet


Top

Recommandation

L'équipe d'évaluation doit être libre de choisir sa stratégie d'analyse et son approche analytique.

Top