IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Guides d'évaluation > Géo-thématique
Last updated: 15/12/2005
EuropeAid

Evaluation géographique et thématique
Guide pour l'équipe d'évaluation

EuropeAid
 

Phase de documentation (1)




Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Ce guide
• Vue d'ensemble
• Schéma du processus

Détail
• Préparation
• Documentation
• Terrain
• Synthèse

 
 

DEMARRAGE (INCEPTION)

Collecte des documents de base

La première analyse de l'intervention est faite sur la base des documents officiels uniquement, sans interférence avec les services de la Commission. Documents analysés :

  • Documents de conception et de programmation de l'intervention évaluée
  • Documents de base des politiques dans lesquelles s'inscrit l'intervention (politique de développement, de coopération ou politique extérieure)
  • Documents pertinents sur la stratégie du (des) pays partenaire(s)

Analyse de la raison d'être de l'intervention

Reconstruction de la raison d'être de l'intervention:

  • Contexte dans lequel l'intervention a été décidée, opportunités et contraintes
  • Besoins à satisfaire, problèmes à résoudre, enjeux à traiter
  • Justification que les besoins, problèmes ou enjeux ne peuvent pas être traités plus efficacement dans un autre cadre (raison d'être).

Analyse de la logique d'intervention

Reconstruction de la logique d'intervention:

  • Priorités politiques dans lesquelles prend place l'intervention.
  • Objectifs, principes, priorités.
  • Catégories d'activités mises en oeuvre.
  • Traduction des objectifs sous forme de réalisations, résultats ou impacts attendus.
  • Présentation des activités et des effets attendus et des hypothèses causales déduites des documents analysés.
  • Commentaires sur la logique d'intervention et analyse de sa cohérence interne.
  • Proposition de reconstruction des hypothèses causales manquantes si nécessaire.

Délimitation du champ élargi

Identification des politiques connexes :

  • Conduites par la CE.
  • Conduites par les autres bailleurs.
  • Conduites par le(s) pays partenaire(s).

Consultation des bases de données

Consultation des des bases de données de la Commission et recueil des informations disponibles pour chacune des aides allouées au titre de l'intervention :

  • Identification de l'aide.
  • Données budgétaires.
  • Données sur l'avancement des réalisations.
  • Coordonnées des informateurs potentiels.
  • Appréciations portées dans le cadre du "suivi orienté vers les résultats" (ROM).
  • Disponibilité des rapports d'avancement et des rapports d'évaluation.

Mission pilote

A ce stade, et si la nature de l'évaluation s'y prête, le leader de l'équipe d'évaluation peut conduire une série d'entretiens dans le pays partenaire (ou la région) pour :

  • Etablir les relations de travail avec les consultants nationaux/régionaux.
  • Compléter le recueil des documents de base.
  • Préparer les questions d'évaluation.

Proposition de questions d'évaluation

L'équipe d'évaluation prépare une première version des questions d'évaluation en s'appuyant sur l'un ou l'autre des éléments suivants :

  • Analyse de la stratégie d'intervention (questions de pertinence et de cohérence principalement)
  • Analyse de la logique d'intervention (questions d'efficacité et de durabilité principalement)
  • Attentes des personnes rencontrées

Ce site précise comment dériver une question à partir de la logique d'intervention et comment rédiger des questions correspondant aux différents critères d'évaluation.
A ce stade, les questions proposées peuvent être en nombre supérieur au maximum indiqué dans les termes de référence. Les questions proposées tiennent compte de :

  • La finalité de l'évaluation, telle que décrite dans les termes de référence.
  • La nécessité d'aboutir à un jugement d'ensemble de l'intervention évaluée.
  • La nécessité de ne pas oublier les questions d'efficience et de durabilité qui ont tendance à être négligées.

Chaque question fait l'objet d'un commentaire explicatif traitant de tout ou partie des points suivants :

  • Champ de la question.
  • Clarification des termes employés.
  • Modalités de traitement incluant éventuellement les sous-questions que l'équipe d'évaluation envisage de traiter.
  • Utilité potentielle de la réponse.

Réunion de démarrage (inception)

Le leader de l'équipe d'évaluation présente ses premiers travaux au groupe de référence à l'aide de transparents (Powerpoint).

  • Exemple de transparents présentés à la réunion de démarrage EN  (420 kb)

Finalisation et validation des questions

Une seconde version de la liste de questions est préparée sous forme de note, sur la base des éléments suivants :

  • Commentaires reçus pendant et après la réunion de démarrage
  • Entretiens avec quelques personnes clés au siège de la Commission et/ou dans le(s) pays partenaire(s)

A ce stade, le nombre de questions respecte le maximum indiqué dans les termes de référence.
Les questions sont validées par les membres du groupe de référence, puis deviennent une annexe aux termes de référence.

Exemples

Note relative aux questions d'évaluation et annexée aux termes de référence, pour une évaluation au niveau pays, au niveau régional ou une évaluation globale sectorielle ou thématique.

Rapport de démarrage (inception)

L'équipe d'évaluation poursuit ses entretiens et analyses documentaires et approfondit ses premiers travaux concernant :

Chacune des questions validées est développée selon les points suivants :

  • La question et son commentaire explicatif
  • Le ou les critères de jugement (aussi appelés critères d'appréciation raisonnée) relatifs à la question
  • Les indicateurs envisageables pour chaque critère
  • La méthode envisagée pour répondre à la question

Ce guide explique et illustre la démarche à suivre pour passer d'une question à un ou plusieurs critères de jugement puis à un ou plusieurs indicateurs.
A ce stade, l'équipe affine également sa méthode et notamment :

  • Hypothèses sur la possibilité de répondre à chaque question en se fondant sur :
  • Stratégie d'ensemble envisagée pour la collecte d'information et d'analyse, et vérification que cette stratégie permettra de :
    • Croiser plusieurs types de données pour la réponse à chaque question selon le principe de la triangulation
    • Formuler un jugement d'ensemble au-delà de la réponse à chaque question
    • Respecter le budget et le calendrier prévus
  • Plan de travail détaillé pour la collecte des informations disponibles à la Commission lors de l'étape suivante
  • Pays à visiter si l'évaluation couvre plusieurs pays
  • Ebauche de la liste des actions à étudier de façon plus approfondie lors des étapes suivantes

Une première version du rapport de démarrage est rédigée avec le contenu requis et soumise pour contrôle qualité à un expert extérieur à l'équipe d'évaluation.
Une version finale est préparée pour tenir compte des commentaires reçus.

Exemples

Rapport de démarrage, pour une évaluation :

  • au niveau pays EN  (615 kb)
  • globale sectorielle ou thématique EN  (860 kb)

Top

ACHEVEMENT DE LA PREMIERE PHASE (DESK)

A cette étape, l'équipe d'évaluation poursuit la consultation des documents disponibles ainsi que ses entretiens avec les gestionnaires de l'aide au siège de la Commission et dans le(s) pays partenaire(s). Il ne s'agit en aucun cas de rassembler et d'explorer toute l'information disponible. Au contraire, l'équipe d'évaluation oriente en permanence sa recherche d'information dans la perspective de répondre aux questions, au moins d'une façon préliminaire et partielle
Les tâches de cette étape sont réalisées par les personnes ayant l'expertise adaptée aux questions traitées.
Cette étape permet aussi de finaliser la conception méthodologique et le développement des outils envisagés pour la phase de terrain.

Analyse documentaire

Consultation des documents disponibles relatifs à l'intervention dans son ensemble ou à ses principales composantes :

  • Documents pertinents émanant du Conseil et du Parlement.
  • Documents préparatoires, évaluation ex ante.
  • Documents de programmation (en plus des documents déjà examinés aux étapes précédentes).
  • Décisions portant sur la mise en œuvre et/ou la modification.
  • Bilans (reviews), rapports d'audit, rapports d'évaluation.

Consultation des documents relatifs au contexte de l'intervention :

  • Indicateurs de contexte concernant le ou les pays partenaires.
  • Documents sur la (les) stratégie(s) de développement du (des) pays partenaire(s).
  • Données statistiques de l'OCDE sur l'aide reçue par le(s) pays partenaire(s).
  • Documents relatifs aux interventions des autres bailleurs et des institutions internationales concernant le(s) pays partenaire(s).
  • Résumés des rapports d'évaluation des différents bailleurs pour le(s) pays partenaire(s).

Consultation des documents sur les actions à étudier de façon plus approfondie. Ces documents sont identifiés par le biais des bases de données ou grâce aux entretiens. Pour chaque action étudiée, les documents à collecter concernent :

  • La conception et la décision
  • La mise en œuvre et le suivi
  • L'évaluation

Entretiens avec les gestionnaires

Les entretiens visent à :

  • Approfondir les analyses faites dans le rapport de démarrage
  • Identifier les informations disponibles, estimer leur fiabilité et y accéder
  • Repérer les éléments de réponse qui peuvent être apportés aux questions et identifier les hypothèses restant à tester dans le cadre de la phase de terrain

Les personnes rencontrées sont celles qui ont participé à la conception de l'intervention, ont contribué à sa mise en œuvre ou sont susceptibles d'utiliser le rapport d'évaluation. Il s'agit de personnes travaillant au siège de la Commission, dans la (les) délégation(s) concernée(s) et au sein de l'administration centrale du(des) pays partenaire(s).

Conception méthodologique et développement des outils

La conception méthodologique envisagée dans le rapport de démarrage (inception) est finalisée. L'équipe d'évaluation précise son approche pour chaque question sous forme d'un tableau de conception incluant les sous-questions à traiter. Les outils à développer pour la phase de terrain sont alors listés, afin de fournir au moins une, et de préférence plusieurs, sources d'information pour traiter chaque sous-question.
Les outils d'évaluation sont développés et testés pour autant que cela est possible. Le travail peut comprendre:

  • Préparation d'une ou plusieurs séries d'entretiens et les guides d'entretiens correspondants.
  • Termes de référence d'un ou plusieurs focus groups
  • Préparation et test d'un questionnaire et d'une méthode d'échantillonnage
  • Sélection d'une ou plusieurs études de cas et développement du ou des plans de travail

Cette étape mobilise les membres nationaux / régionaux membres de l'équipe d'évaluation. Elle est plus ou moins développée selon la disponibilité et la capacité de ces consultants.

Rapport de première phase (desk)

Sur la base de ses travaux, l'équipe d'évaluation approfondit les éléments traités dans le rapport de démarrage autant que nécessaire et développe les éléments suivants :

  • Indicateurs proposés pour chaque critère de jugement.
  • Informations déjà collectées, méthode de collecte employée, limites, biais et risques.
  • Premiers éléments de réponse aux questions et hypothèses restant à tester lors de la phase de terrain.
  • Approche indicative dans la perspective d'un jugement d'ensemble de l'intervention, sur la base d'une synthèse des réponses aux questions et d'éléments additionnels si cela est pertinent.
  • Conception méthodologique définitive, incluant la stratégie d'analyse, les sous-questions à traiter, les sources d'information, les croisements de données à effectuer, les outils d'évaluation à mettre en œuvre, et les risques et biais potentiels.

Une version provisoire du rapport de première phase (desk) est rédigée avec le contenu requis et soumise pour contrôle qualité à un expert qui ne fait pas partie de l'équipe d'évaluation.
Le rapport est remis au gestionnaire de l'évaluation et présenté lors d'une réunion du groupe de référence s'il y a lieu.

Exemples

Exemple de rapport de première phase (desk) pour une évaluation :

  • au niveau pays EN  (1100 kb)
  • au niveau région ES  (730 kb)
  • globale sectorielle ou thématique EN  (1450 kb)

Top