IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Bases méthodologiques > Comment
Last updated: 08/02/2006
EuropeAid

Bases méthodologiques
Processus d'évaluation (Comment ?)

EuropeAid
 

Questions d'évaluation




Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

Questions
• Vue d'ensemble
• Sélection
• Préparation
• Exemples

 
 

A QUOI SERVENT-ELLES ?

à focaliser le travail d'évaluation

Les questions servent à focaliser le travail d'évaluation sur un petit nombre de points clés afin de permettre une meilleure réflexion sur les critères de jugements (appelés également appréciations raisonnées), une collecte d'information plus ciblée, une analyse plus approfondie et un rapport plus utile.
Focaliser une évaluation sur quelques questions clés est particulièrement nécessaire quand l'intervention évaluée est multidimensionnelle. Dans ce cas, si l'on voulait traiter toutes les dimensions de l'aide et toutes les dimensions de l'évaluation, le travail serait extrêmement coûteux ou bien alors extrêmement superficiel. On est donc obligé de faire des choix.

Top

à maîtriser les choix

Lorsque l'intervention évaluée est multi-dimensionnelle, le rapport final et son résumé vont obligatoirement se concentrer sur un petit nombre de points, à travers une succession de choix. Les questions d'évaluation servent à discuter et à maîtriser ces choix.
En l'absence de questions, les choix risquent de se faire de façon implicite et biaisée en fonction des données les plus facilement disponibles, du poids des différentes parties prenantes ou des préjugés de l'équipe d'évaluation.



à favoriser l'appropriation

Quitte à faire des choix, autant les faire en fonction des attentes des destinataires du rapport. De cette façon, on favorise une meilleure appropriation et on augmente la probabilité que le travail soit utilisé.

Top

D'OU VIENNENT-ELLES ?

Questions déduites directement de la logique d'intervention

La logique d'intervention est l'ensemble des hypothèses faites pour expliquer comment l'intervention va atteindre ses objectifs et produire les effets attendus. Les hypothèses relient les activités aux réalisations et aux résultats puis à plusieurs niveaux successifs d'impacts attendus jusqu'au plus global, par exemple la réduction de la pauvreté.
La logique de l'intervention est reconstruite sur la base des objectifs figurant dans les documents officiels qui ont établi l'intervention. Chaque fois que les objectifs sont énoncés en des termes politiques peu précis, ils sont traduits sous forme d'effets attendus de façon aussi concrète que possible. On peut également prendre en compte des effets qui sont attendus implicitement.
Selon le degré d'hétérogénéité de l'intervention le nombre d'effets attendus peut varier de quelques uns à plus d'une centaine. La logique d'intervention présente les effets attendus sous une des formes suivantes :

  • Diagramme des effets attendus (intervention multi-dimensionnelle avec une dizaine d'effets attendus ou plus)
  • Diagramme global et sous-diagrammes (intervention très multi-dimensionnelle).

Une fois que l'équipe d'évaluation a identifié les effets attendus et les hypothèses de causalité qui les relient, il devient possible de poser toutes sortes de questions du type :

  • Dans quelle mesure [l'activité A] a-t-elle contribué à [générer l'effet X] ?
  • Dans quelle mesure [les activités A, B, C…] ont-elles contribué à [générer l'effet X] ?
  • Dans quelle mesure [les activités A, B, C…] ont-elles contribué à [générer les effets X, Y , Z, …] ?

Ces questions sont directement dérivées de la logique d'intervention sous une forme standard et appartiennent à la famille de l'efficacité (obtention d'un ou plusieurs effets attendus).

Top

Autres questions déduites de la logique d'intervention (indirectement)

Chaque question de forme standard peut être déclinée en de multiples autres questions
… en précisant le champ par exemple :

  • Dans quelle mesure l'intervention [et plus spécifiquement celle mise en œuvre au moyen de l'instrument A ou de la procédure B ] a-t-elle contribué à générer l'effet X ?
  • Dans quelle mesure [la coordination avec les autres partenaires du développement ] a-t-elle contribué à générer l'effet X ?

… ou en précisant l'effet concerné, par exemple :

  • Dans quelle mesure l'intervention a-t-elle contribué à générer l'effet X [pour les catégories les plus pauvres de la population] ?

… ou en changeant le critère d'évaluation, par exemple :

  • Dans quelle mesure l'intervention a-t-elle généré l'effet X [avec une forte probabilité de survie des effets après la fin de l'aide] ? (durabilité).
  • Dans quelle mesure l'intervention a-t-elle contribué à générer l'effet X [avec un coût limité comparativement à …] ? (efficience ou coût-efficacité)
  • Lorsque l'intervention vise à obtenir l'effet X, dans quelle mesure cela [correspond-il aux besoins de la population concernée] ? (pertinence).
  • Lorsque l'intervention vise à obtenir l'effet X, dans quelle mesure cela [est-il compatible ou contradictoire avec les objectifs des autres politiques de la Commission européenne] ? (cohérence/complémentarité).
  • Lorsque l'intervention vise à obtenir l'effet X, dans quelle mesure cela [apporte-t-il une valeur ajoutée par rapport à une intervention similaire qui aurait été conduite par les Etats membres] ? (valeur ajoutée communautaire).

Top

Autres questions

Les questions qui suivent ne nécessitent pas un examen préalable de la logique d'intervention parce qu'elles concernent des effets qui n'y figurent pas.
Questions sur les impacts inattendus, par exemple :

  • Dans quelle mesure [l'activité A, l'instrument B, la procédure C] a-t-elle généré des effets inattendus ? et si oui au bénéfice ou au détriment de qui ?

Questions sur des aspects transversaux (cross-cutting issues) comme le genre, l'environnement, la bonne gouvernance ou les droits de l'homme, par exemple :

  • Dans quelle mesure la C.E a-t-elle intégré [l'aspect transversal A] dans la conception et la mise en œuvre de ses interventions ?

Top

Exemples

Ce site propose des exemples de questions pour les situations suivantes :


Top

SELECTIONNER LES QUESTIONS CLES

Il existe des limites techniques qui empêchent de traiter de multiples questions ou plus précisément d'apporter des réponses de bonne qualité si les questions sont nombreuses. Ce guide recommande de sélectionner les questions clés sans dépasser un maximum de dix.
Les questions doivent être sélectionnées en raison de l'utilité probable des réponses qui vont être apportées par l'évaluation, par exemple :

  • La réponse intéresse ceux qui doivent concevoir une nouvelle intervention pour le prochain cycle
  • La réponse va probablement permettre d'apprendre des leçons intéressantes pour d'autres secteurs ou d'autres pays.
  • La réponse servira à alimenter un rapport de la Commission destiné à rendre des comptes
  • La réponse n'est pas connue d'avance
  • La réponse arrivera à temps.

Les questions doivent être sélectionnées également en raison de leur faisabilité (ou évaluabilité). La faisabilité est faible si trop de difficultés s'accumulent, par exemple:

  • Les termes essentiels de la question ne sont pas stabilisés et ne sont compris par tous de la même façon
  • Les relations de cause à effet sont floues et les experts les connaissent mal
  • Les informations disponibles sont très pauvres
  • L'accès au terrain et la collecte d'information nouvelles posera des difficultés majeures

Si la faisabilité d'une question est faible alors qu'elle correspond à une demande politique, alors il convient d'argumenter de façon précise les raisons pour lesquelles cette question est difficile à traiter. Cela peut faire partie de l'utilité de l'évaluation.

Top

REDIGER UNE QUESTION

Au moment de rédiger une question, on vérifie d'abord qu'elle relève bien de l'évaluation et non pas de l'audit ou du suivi.
Il convient ensuite de préciser :

  • Le champ, c'est-à-dire ce qui est jugé, par exemple l'intervention dans son ensemble, une activité, un instrument, une procédure
  • Le ou les effets concernés
  • La famille de critères d'évaluation à laquelle appartient la question : pertinence, efficacité, efficience, durabilité, impact, valeur ajoutée communautaire ou cohérence/complémentarité.

A ce stade on s'assure que la question est rédigée de façon claire et concise.
Le rédacteur de la question peut ajouter à titre indicatif des commentaires sur tout ou partie des points suivants :

  • Précisions sur le champ de la question
  • Définition des principaux termes utilisés
  • Précisions sur le type de critère
  • Sous-questions à traiter pour répondre à la question
  • Nature de l'utilisation prévue
  • Etudes et évaluations existantes à ne pas dupliquer.

Top

QUI CHOISIT LES QUESTIONS ?

Le gestionnaire de l'évaluation définit les principaux domaines à couvrir par l'évaluation et précise le nombre maximum de questions. Ces éléments figurent dans les termes de référence provisoires.
Les membres du groupe de référence sont consultés avant la finalisation des termes de référence.
L'équipe d'évaluation externe analyse la logique d'intervention. Sur la base des termes de référence et de son analyse, elle propose une liste provisoire de questions.
Les questions sont présentées et discutées lors de la réunion de démarrage du groupe de référence. Sur la base des commentaires reçus pendant et après la réunion, l'équipe d'évaluation finalise les questions. Celles-ci sont validées par les membres du groupe et par le gestionnaire.
Les questions validées acquièrent un statut contractuel et sont annexées aux termes de référence.

Top