IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Bases méthodologiques > Comment
Last updated: 26/05/2006
EuropeAid

Bases méthodologiques
Processus d'évaluation (comment ?)

EuropeAid
 

Analyse




Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

Analyse
• Vue d'ensemble
• Stratégie d'analyse
• Exploration
• Confirmation
• Validité

 
 

Une analyse est nécessaire pour convertir les données en constats, qui font eux-mêmes l'objet d'un jugement pour être convertis en conclusions. L'analyse est effectuée question par question, dans le cadre d'une conception d'ensemble englobant toutes les questions.



Données, éléments de preuve et constats

Toute information qualitative ou quantitative collectée par l'équipe d'évaluation est appelée données, par exemple:

  • Le document X indique que le nombre d'élèves s'est développé plus rapidement que le nombre de professeurs dans les zones rurales pauvres (donnée)

Une information est qualifiée d'élément de preuve dès lors que l'équipe d'évaluation la considère comme suffisamment fiable, par exemple :

  • Le document X, citant les données du Ministère de l'Education considérées comme fiables, indique que le nombre d'élèves s'est développé plus rapidement que le nombre de professeurs dans les zones rurales pauvres (élément de preuve)

Un constat établit un fait dérivé d'éléments de preuve, grâce à une analyse, par exemple :

  • La qualité de l'éducation primaire a diminué dans les zones rurales pauvres (constat)

Certains constats sont spécifiques en ce qu'ils comportent des énoncés relatifs à la causalité, par exemple :

  • La CE n'a pas contribué de façon significative à empêcher la baisse de la qualité de l'éducation primaire dans les zones rurales pauvres (constat relatif à la causalité)

Les constats n'incluent pas de jugements de valeur, lesquels sont intégrés seulement dans les conclusions, comme indiqué ci dessous :

  • La CE a contribué significativement à augmenter la capacité du système éducatif à recruter des élèves provenant de groupes défavorisés, mais cela s'est fait au dépend de la qualité (conclusion).

Top

Stratégie d'analyse

Quatre stratégies peuvent être considérées :

  • L'analyse du changement, qui compare des indicateurs mesurés et/ou qualifiés sur une période de temps, et/ou par rapport à des niveaux cibles
  • La méta-analyse, qui extrapole les constats d'autres évaluations et études, après avoir soigneusement vérifié leur validité et leur transférabilité
  • L'analyse d'attribution, qui compare les changements observés avec un scénario "sans intervention", appelé également contrefactuel
  • L'analyse de contribution qui confirme ou infirme les hypothèses causales sur la base d'une chaîne de raisonnements.

La première stratégie est la plus légère et peut convenir pour virtuellement tous les types de questions, par exemple :

  • Dans quelle mesure les priorités de la CE sont-elles toujours en lien avec les enjeux identifiés ?
  • Dans quelle mesure l'aide a t-elle pris en compte les interactions potentielles et les conflits avec d'autres politiques de la CE ?
  • Dans quelle mesure la CE a-t-elle intégré un aspect tranversal donné dans la mise en œuvre de ses interventions ?

Les trois dernières stratégies conviennent mieux pour répondre à des questions de causalité, par exemple :

  • Dans quelle mesure la CE a-t-elle contribué à obtenir l'effet X ?
  • Dans quelle mesure, la CE a-t-elle contribué à obtenir l'effet X durablement ?
  • Dans quelle mesure, la CE a t-elle contribué à obtenirl'effet X à un coût raisonnable ?

Le choix de la stratégie d'analyse fait partie de la conception méthodologique. Il dépend des problèmes de faisabilité soulevés ou non par la question. Il est explicité dans la table de conception. Une fois que la stratégie a été choisie et que les données ont été collectées, l'analyse suit tout ou partie des quatre stades suivants : traitement des données, exploration, explication, confirmation.

Top

Traitement des données

Le premier stade de l'analyse consiste à traiter l'information en vue de mesurer ou de qualifier un indicateur, ou de répondre à une sous-question. Les données sont traitées au moyen d'opérations telles que le croisement, la comparaison, le regroupement, le listage, etc.

  • Le croisement est l'utilisation de plusieurs sources ou types de données en vue établir un fait. Un croisement systématique d'au moins deux sources est la règle, bien que la triangulation (trois sources) soit préférable. Le croisement doit concerner des sources indépendantes. Un document qui cite un autre document n'est pas une source indépendante. Deux personnes interrogées ne sont pas des sources indépendantes si elles ont le même profil.
  • La comparaison procède par construction de tableaux, de graphiques, de cartes et/ou de classements. Les données peuvent être comparées selon une ou plusieurs dimensions comme le temps, les territoires, les catégories administratives, les catégories socio-économiques, les bénéficiaires et non-bénéficiaires, etc. Le plus souvent, l'équipe d'évaluation mesure le changement en comparant des indicateurs quantitatifs sur une période de temps. Les comparaisons peuvent aussi être qualitatives, ex : classer les besoins de la population selon leur perception par les personnes interrogées.
  • Le regroupement fonctionne en agrégeant les données selon des typologies prédéfinies, ex : aide de la CE par secteur, par bénéficiaires, par niveau de revenu.
  • Le listage fonctionne en identifiant les différentes dimensions d'un élément, par exemple les différents besoins du groupe cible qui sont ressortis d'une réunion participative, les différents effets d'un projet indiqués par les acteurs de terrain, les différentes forces et faiblesses de la CE indiquées lors des entretiens dans les missions des autres bailleurs de fonds …

Les constats provisoires émergent à ce stade de l'analyse. Les stades suivants ont pour but d'approfondir et de renforcer les constats.

Top

Exploration

L'analyse exploratoire a pour but d'améliorer la compréhension de tout ou partie de ce qui est évalué, principalement lorsque la connaissance est insuffisante et que l'expertise est faible ou lorsque des éléments de preuve surprenants ne s'accordent pas avec les explications disponibles.
L'analyse exploratoire creuse d'avantage et plus systématiquement les données collectées afin de découvrir de nouvelles explications plausibles :

  • Nouvelles catégories / typologies
  • Facteurs explicatifs non prévus
  • Facteurs favorisant / contraignant la durabilité
  • Effets fortuits
  • Nouvelles hypothèses de causalité.

Le stade de l'exploration peut ne pas être nécessaire pour toutes les questions. Quand ce type d'analyse est effectué, les techniques de brainstorming sont appropriées. L'idée est de développer de nouvelles explications plausibles, pas de les établir.

Top

Explication

A ce nouveau stade, on s'assure d'avoir atteint une compréhension suffisante en termes de :

  • Concepts, catégories et typologies définis avec précision
  • Explications de causalité plausibles
  • Identification des facteurs externes clés et des explications alternatives

Selon le contexte et la question, l'explication est construite sur une ou plusieurs des bases suivantes :

  • Diagramme des effets attendus
  • Explications de causalité plausibles
  • Identification des facteurs externes clés et des explications alternatives

L'explication (aussi appelée modèle explicatif) doit être suffisante pour l'analyse puisse être finalisée.

Top

Confirmation

A ce dernièr stade, on s'efforce de confirmer les constats provisoires à travers une chaîne d'arguments valide et crédible. Ceci est le rôle de l'analyse confirmatoire.
Afin de confirmer un constat, on réalise une auto-critique systématique par tous les moyens possibles, ex : tests statistiques, recherche de biais dans les données et l'analyse, examen des contradictions entre les sources et les analyses.
Les critiques externes provenant des experts ou des parties prenantes sont également prises en compte.

Top