IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Bases méthodologiques > Comment
Last updated: 15/12/2005
EuropeAid

Bases méthodologiques

EuropeAid
 

Processus d'évaluation (comment ?)




Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

 
 

Stratégie d'intervention

La première étape du processus d'évaluation consiste à examiner la stratégie d'intervention, c'est-à-dire sa raison d'être, sa logique et sa place par rapport aux politiques connexes.
La raison d'être d'une intervention est de traiter des besoins, des problèmes ou des enjeux qui sont considérés comme prioritaires dans le contexte local et qui ne peuvent pas être traités plus efficacement par une option alternative.
La logique d'intervention identifie les activités, les réalisations, les résultats et les différents niveaux d'impacts attendus. Elle tient compte des hypothèses de causalité explicites ou implicites, ainsi que des contraintes du contexte local. La logique d'intervention peut être " fidèle " aux objectifs affichés dans les documents officiels. On peut aussi traduire les objectifs en effets attendus et révéler des effets qui étaient implicitement attendus.
Il convient également d'identifier les principales interventions connexes (autres politiques de la CE, du pays partenaire, des autres bailleurs) et de situer l'intervention évaluée par rapport à elles.

En savoir plus

Raison d'être
Logique d'intervention
Politiques connexes
Objectifs

Top

Questions d'évaluation

Les questions servent à orienter le travail d'évaluation vers les besoins d'information des utilisateurs et à concentrer les travaux sur un nombre de points limités de façon à mieux garantir la qualité des conclusions.
Les questions peuvent être préparées par le gestionnaire de l'évaluation et inscrites dans les termes de référence. Sinon, elles sont proposées par l'équipe d'évaluation externe. Dans tous les cas, elles sont validées par le groupe de référence. Elles sont ajoutées en annexe aux termes de référence.
Les questions dérivent des besoins d'information qui ont justifié la décision d'évaluer, de l'analyse de la logique d'intervention, ou des attentes des membres du groupe de référence.
Elles couvrent de façon appropriée les sept critères d'évaluation.

En savoir plus

Centrer l'évaluation sur des questions clés
Familles de critères d'évaluation
Préparer une question d'évaluation
Exemples de questions pour une évaluation :


Top

Références de jugement

La réponse aux questions d'évaluation implique des jugements qui doivent être formulés par rapport à des références explicites, c'est-à-dire des critères de jugement clairs (aussi appelés critères d'appréciation raisonnée), des niveaux cibles et des indicateurs permettant d'orienter la recherche d'information de façon adaptée.
Les questions sont associées à des critères de jugement qui précisent quel aspect des mérites ou du succès de l'intervention doit être examiné.
Les questions peuvent être associées à des niveaux cibles, c'est-à-dire à des niveaux de performance, des seuils de succès ou des bonnes pratiques qui servent de référence de comparaison pour porter le jugement.
Enfin, pour juger si l'intervention est réussie ou non au regard d'un critère donné, l'équipe d'évaluation choisit des indicateurs de façon à structurer et cibler l'information à collecter. Un indicateur peut être quantitatif ou qualitatif. Il est identifié avant la collecte d'information.

En savoir plus

Critère de jugement
Niveau cible
Indicateur

Top

Conception méthodologique

L'équipe d'évaluation externe doit conçoit sa méthode de façon à obtenir les meilleures réponses possibles à toutes les questions d'évaluation.
Le but de cette tâche est de garantir que les réponses aux questions sont fondées sur des données factuelles et fiables, sur des analyses valides et qu'elle tiendra compte de l'expertise et des connaissances disponibles.
L'équipe d'évaluation prépare un tableau de conception méthodologique pour chaque question avec une indication de la stratégie d'analyse, des sous-questions à traiter et des sources d'information à utiliser. Les outils d'évaluation sont sélectionnés et développés.
La conception d'ensemble est ensuite ajustée pour correspondre aux contraintes telles que le calendrier, le budget, l'accès aux sources d'information et la disponibilité des connaissances.
De plus, la conception articule et optimise les démarches de collecte et d'analyse de l'information pour bénéficier du fait que certaines données peuvent aider à répondre à plusieurs questions à la fois et pour permettre la formulation d'une appréciation globale sur l'intervention.

En savoir plus

Faisabilité d'une question d'évaluation
Table de conception
Développement d'outils


Top

Collecte d'information

La collecte d'information est préparée par un programme détaillé qui précise le programme de visites et d'entretiens ainsi que les outils à mettre en oeuvre.
La collecte d'informations nouvelles (primaires) peut réserver des surprises qui doivent être gérées par l'équipe d'évaluation en liaison avec le gestionnaire. Les difficultés les plus fréquemment rencontrées concernent l'accès aux informateurs, le manque de coopération de la part des informateurs, la distance culturelle, l'absence ou la faiblesse d'une information recherchée.
La fiabilité des données primaires collectées peut être mise en danger par différents biais et par des faiblesses telles que l'autocensure, la stratégie des informateurs, des réponses induites par les questions, etc.
Pour éviter les duplications, les coûts inutiles et la lassitude des informateurs, il convient de s'appuyer sur les données existantes (secondaires) quand cela est possible, c'est-à-dire sur les documents de gestion et de suivi, les études et les recherches relatives au domaine considéré, les sources statistiques publiées, les rapports d'évaluation précédents et leurs annexes.

En savoir plus

Difficultés les plus fréquentes
Fiabilité
Utilisation des données existantes

Top

Analyse

L'analyse des données collectées commence dès les premières phases de l'évaluation et se poursuit jusqu'au stade de la rédaction du rapport final. L'équipe d'évaluation identifie ses principaux constats et fait progressivement émerger ses conclusions provisoires. A ce stade elle privilégie les raisonnements inductifs, les indices, le brainstorming. Il s'agit de l'analyse exploratoire.
Quand une question concerne un résultat ou un impact, une stratégie d'analyse est choisie pour examiner les relations de cause à effet. La stratégie vise à attribuer une part des changements observés à l'intervention évaluée ou à démontrer la contribution de l'intervention aux changements observés.
L'équipe d'évaluation identifie ses principaux constats et fait progressivement émerger ses conclusions provisoires. A ce stade elle privilégie une approche de type brainstorming. Il s'agit de l'analyse exploratoire.
Les constats et les conclusions provisoires sont ensuite soumis à la critique jusqu'à ce qu'ils soient confirmés par une argumentation solide et crédible. C'est le rôle de l'analyse confirmatoire.
La validité est une qualité essentielle de l'analyse. Elle est obtenue quand l'évaluation produit des constats transférables (validité externe), quand les constats découlent des informations collectées de façon non biaisée (validité interne) et quand les informations collectées décrivent exactement ce qui était à décrire (validité de construction).


En savoir plus

Stratégie d'analyse
L'analyse exploratoire
L'analyse confirmatoire
Validité

Top

Jugement

Autant que possible, le rapport d'évaluation énonce séparément les constats (qui découlent uniquement des faits et des analyses) et les conclusions (qui impliquent des jugements de valeur). Cette démarche oblige à expliciter les critères de jugement et renforce la qualité.
Les conclusions apportent des réponses claires aux questions posées au début de l'évaluation. Elles intègrent des jugements sur la valeur et les mérites de l'intervention. Pour formuler ses conclusions, l'équipe d'évaluation applique les références de jugement convenues au cours de la première phase (desk).
Les leçons sont des conclusions transférables aux prochains cycles de la même intervention ou à d'autres interventions.
La formulation de jugements de valeur est une étape particulièrement sensible. Cela impose à tous les acteurs de l'évaluation de respecter des principes éthiques spécifiques.
Les recommandations dérivent des conclusions. Elles visent à améliorer ou réformer l'intervention évaluée, ou à préparer la conception d'une nouvelle intervention pour le cycle suivant.

En savoir plus

Conclusions et leçons
Principes éthiques
Recommandations

Top

Assurance qualité

L'assurance qualité est un processus qui intervient aux principales étapes de l'évaluation avec un partage des responsabilités et des règles du jeu définies dans les termes de référence.
Au stade du rapport de démarrage, l'appréciation de la qualité permet de vérifier que l'équipe d'évaluation a clairement compris le champ et la finalité de l'évaluation, ainsi que la logique de l'intervention évaluée et les questions à traiter.
Au stade du rapport de première phase (desk), l'appréciation de la qualité vérifie que la conception méthodologique est adéquate. De même, la fiabilité et la solidité du premier recueil de données et des premières analyses sont toutes deux vérifiés.
Au stade de la version provisoire du rapport final, l'appréciation de la qualité revisite l'ensemble des critères précédents et examine particulièrement la base factuelle des constats, l'absence de biais dans les jugements, l'utilité des recommandations et la clarté du rapport.
Une dernière appréciation de qualité porte sur la dernière version du rapport et fait l'objet d'une publication en même temps que le rapport lui-même.

En savoir plus

Processus d'assurance qualité
Critères de qualité du rapport de démarrage
Critères de qualité du rapport de première phase (desk)
Critères de qualité du rapport final

Top