IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Bases méthodologiques > Comment
Last updated: 07/03/2006
EuropeAid

Bases Méthodologiques
Processus d'évaluation (Comment ?)

EuropeAid
 

Conception méthodologique

 


Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

 
 

Quelle est la finalité ?

Il s'agit de mettre en place la méthode qui permettra à l'équipe d'évaluation externe de répondre aux questions et d'arriver à un jugement d'ensemble. La méthode d'évaluation inclut la sélection des questions, des critères de jugement, des indicateurs et des niveaux cibles, et également:

  • une stratégie de collecte et d'analyse des données
  • les terrains sélectionnés pour les investigations
  • une série d'outils développés spécifiquement
  • un plan de travail.

Top

A quel moment prend-elle place ?

L'équipe d'évaluation commence à concevoir une méthode provisoire dès la rédaction de sa proposition afin de réaliser une estimation des coûts. Une hypothèse clé à ce stade est d'estimer jusqu'à quel point l'évaluation pourra s'appuyer sur des données secondaires et nécessitera des travaux spécifiques de collecte d'information sur le terrain.
Les grandes lignes de la méthode sont tracées pendant l'étape de démarrage, en fonction des questions d'évaluation, des critères de jugement, des indicateurs, des outils de collecte de données et de la stratégie d'analyse.
La méthode est affinée et finalisée avant la phase de terrain et complètement décrite dans le rapport de la première phase (desk).
Le rapport final inclut une présentation courte et pointue de la méthode d'évaluation, ainsi que ses limites s'il y en a. La méthode est complètement décrite dans l'annexe, y compris la conception initiale, les problèmes rencontrés, les solutions trouvées, la méthode réellement appliquée, et les limites.
La méthode d'évaluation est conçue selon un processus itératif à trois niveaux:

  • Une approche question par question, permettant à l'équipe d'évaluation de préparer les tableaux de conception en vue d'apporter une réponse adéquate à chacune des questions
  • Une approche d'ensemble qui couvre toutes les questions, et qui permet à l'équipe d'évaluation d'optimiser sa méthode dans son ensemble, tout en respectant les contraintes de temps et de ressources
  • Une série d'outils développés de façon spécifique.

Top

Tableaux de conception par question

Un tableau de conception est élaboré pour chaque question. Il comprend les lignes suivantes :

  • Texte de la question
  • Raisons pour lesquelles la question a été choisie
  • Champ de la question
  • Critère(s) de jugement
  • Indicateurs
  • Niveaux cibles
  • Sous-questions, décrivant la chaîne de raisonnement par laquelle l'équipe d'évaluation prévoit de répondre à la question, par exemple :
    • Comment les indicateurs ont-ils évolué au cours de la période évaluée ?
    • Dans quelle mesure cette évolution peut-elle être considérée comme un succès ?
    • Jusqu'à quel point, les activités de la CE contribuent-elles à expliquer le changement observé ? Par quels mécanismes ? Y a t-il des éléments prouvant que de ces mécanismes ont fonctionné comme supposé ?
    • Jusqu'à quel point les observations justifient-elles d'autres explications ? Y a t-il des éléments de preuve montrant que le changement observé est dû à d'autres partenaires de développement, à d'autres politiques de la CE, au Gouvernement, ou à d'autres facteurs externes ?
  • Stratégie d'analyse, décrivant le type de données devant être collectées et traitées afin de répondre à la question, par exemple :
    • Analyse du changement, qui mesure et/ou qualifie les indicateurs, et les compare dans le temps et au regard de niveaux cibles
    • Méta-analyse, qui extrapole les constats faits par d'autres évaluations et études, après avoir soigneusement vérifié leur validité et leur transférabilité
    • Analyse d'attribution, qui compare les changements observés avec un scénario "sans intervention", appelé également contrefactuel
    • Analyse de contribution qui confirme ou infirme les hypothèses causales sur la base d'une chaîne de raisonnement.
  • Les terrains d'investigation, où les données doivent être collectées, par exemple :
    • Les pays à visiter dans le cas d'une évaluation thématique
    • Les projets à analyser en profondeur pour répondre à une question concernant un secteur
    • Les territoires (districts, villages) où les échantillons de bénéficiaires seront enquêtés.
  • Les principales sources d'information devant être utilisées pour répondre à la question et les outils associés.

Top

Conception d'ensemble

L'équipe d'évaluation dresse la liste de tous les outils d'évaluation envisagés dans les tableaux de conception, et confirme que chacun de ces outils est approprié pour effectuer la fonction qui lui est dévolue, qu'il est conforme à la stratégie d'analyse sélectionnée, et qu'il est adapté aux contraintes identifiées.
Chaque outil est également considéré du point de vue de sa capacité à répondre à plusieurs questions d'une manière transversale, et à être combiné avec d'autres outils.
Dans le processus d'optimisation progressif de la conception méthodologique, l'équipe d'évaluation examine tous les tableaux de conception de façon transversale en vue de préparer sa synthèse finale, c'est-à-dire son jugement d'ensemble découlant de la réponse à toutes les questions d'évaluation. Des outils additionnels peuvent être développés à cette fin.
Dans le processus de conception de la méthode, l'équipe d'évaluation essaie d'allouer de façon adéquate les ressources entre les questions et les sous-questions. Certaines questions méritent d'être traitées au moyen d'outils coûteux, tandis que d'autres doivent plutôt être traitées sur la base d'une simple analyse documentaire et de quelques entretiens avec des agents de la CE et du Gouvernement.
Finalement, l'équipe d'évaluation explique et justifie ses principaux choix techniques, avec des options alternatives, leurs avantages et inconvénients, et les risques associés.

Top

Développement des outils

Ce site présente une douzaine d'outils fréquemment utilisés, avec des exemples d'utilisation dans le contexte de l'évaluation de l'aide au développement.
Chaque outil implique une phase préparatoire comme l'écriture d'un guide d'entretiens, la rédaction et le test d'un questionnaire, etc. Le développement des outils se fait selon les étapes suivantes :

  • Liste des questions et sous-questions que l'outil doit aider à traiter
  • Spécifications techniques pour la mise en oeuvre de l'outil
  • Risques prévisibles qui peuvent compromettre ou affaiblir la mise en œuvre de l'outil et la manière de les gérer
  • Modalités de compte rendu au sein de l'équipe d'évaluation
  • Modalités de compte rendu dans le rapport final
  • Responsabilités dans la mise en œuvre de l'outil
  • Critères de qualité et processus de contrôle qualité
  • Calendrier
  • Ressources allouées

Le plan de collecte et de traitement des données couvre tous les outils d'évaluation. Il est progressivement affiné afin de faciliter la coordination au sein de l'équipe d'évaluation, avec le responsable de l'évaluation et avec les principales parties prenantes. Toutefois, il reste suffisamment flexible pour permettre de faire face à des difficultés de dernière minute rencontrées sur le terrain.

Top