IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > European Commission > EuropeAid > Evaluation > Methodology
Last updated: 11/11/2005
EuropeAid
EuropeAid
 

Synthèse des commentaires du panel d'experts sur le manuel d'évaluation d'EuropeAid



Methodology
• Evaluation Guidelines
• Methodological bases
• Evaluation tools
• Examples
• Glossary
• Sitemap

 
 

1. Contexte

Ces notes ont été rédigées à la suite d'une présentation du projet de manuel pour l'évaluation au panel d'experts, lors d'une réunion qui s'est tenue au début du mois de septembre 2005. Les commentaires portent sur le document transmis aux membres du panel au mois d'août 2005. Ils se rapportent au seul projet de manuel et ne prennent pas en compte d'autres formulations de politique d'évaluation ni la présentation des pratiques européennes de coopération au développement. Le panel s'est réuni le 16 septembre, chacun des membres ayant disposé de quelques jours pour revoir le document. La réunion du 16 septembre a duré 2 heures et a été suivie d'échanges de messages sur les présentes notes.



2. Impression générale concernant le manuel

Le projet de manuel correspond à un ensemble très complet de documents, décrivant de manière très détaillée le processus d'évaluation. Il reflète un effort engagé en vue de présenter de manière claire et structurée le processus d'évaluation et de fournir des indications répondant aux besoins des membres de l'organisation. Le manuel pourrait également être très utile à d'autres acteurs impliqués d'une manière ou d'une autre dans les processus d'évaluation d'EuropeAid, comme des consultants ou des représentants des autorités nationales de pays partenaires.

Le manuel est équilibré. Les éléments principaux se voient attribuer un poids égal et l'attention apportée à chaque aspect du processus d'évaluation est proportionnelle à son importance dans le processus. La plupart des sections constituant le manuel sont d'une longueur égale, d'une à deux pages. Le manuel traite souvent de concepts complexes avec une brièveté admirable. A la fin des structures hiérarchiques, les textes sont parfois plus longs, pouvant atteindre une quarantaine de pages1. Cela peut cependant se comprendre dans la mesure où les textes les plus longs se trouvent à la fin d'une ligne de recherche.

Le manuel s'adresse à différents types de lecteurs et peut être abordé de manière différente en fonction du lecteur et de ses centres d'intérêt. Cela s'avère utile et contribue à rendre le manuel flexible et évolutif.

Le contenu du manuel reflète pour une majeure partie un consensus émergeant au sein de la communauté de l'évaluation sur la manière de conduire une évaluation. A jour en 2005, il devrait demeurer utile à EuropeAid durant de nombreuses années.

Nos commentaires doivent être interprétés à la lueur d'un travail impressionnant qui reflète une parfaite compréhension de l'évaluation ainsi que des compétences substantielles pour retranscrire cette connaissance et la communiquer à d'autres au travers du manuel et de la conception d'une source d'apprentissage organisationnel en ligne.



3. Questions de politique

Certains de nos commentaires se rapportent à la politique globale d'évaluation telle qu'elle est reflétée dans ce qui est écrit - ou ce qui n'est pas écrit - dans le manuel. Le choix d'amender le manuel pour tenir compte nos observations dépendra de la position prise par EuropeAid concernant ces questions de fond.



3.1. Orientations et conseils pratiques concernant les évaluations conjointes

Il est souvent recommandé que les bailleurs de fonds joignent leurs forces en matière d'évaluation. Il existe de nombreuses raisons à cela, au premier rang desquelles figure le souhait d'alléger la charge du processus d'évaluation pour les pays en développement, dont le personnel responsable des projets et d'autres fonctionnaires consacreraient sinon trop de temps aux évaluations externes. Une autre raison est que les projets et programmes sont souvent financés et/ou mis en œuvre de manière conjointe, ce qui justifierait qu'ils soient évalués de manière conjointe. Il a été fortement recommandé par le Groupe de Travail sur l'Evaluation du CAD/OCDE que la coordination entre Etats Membres s'améliore.

La coopération au développement est en train de changer et bien que l'appui budgétaire, l'assistance sectorielle et l'approche programmes se soient ajoutés à l'assistance projets durant les deux ou trois dernières décennies, les approches dites "nouvelles" tendent à prendre de plus en plus d'importance. Ce sont également les approches de coopération les plus larges qui sont les plus adaptées à la coopération entre bailleurs de fonds et qui sont susceptibles de produire les plus grands effets dans les pays partenaires.

La coopération entre bailleurs suppose cependant des compromis. Dans la mesure où chaque bailleur a sa propre manière de codifier et de réguler le processus d'évaluation, une évaluation conjointe nécessiterait une importante adaptation mutuelle. Le manuel ne comporte aucun conseil ni orientation sur la manière dont les gestionnaires d'évaluation doivent aborder les évaluations conjointes. Dans le futur, il est probable que les gestionnaires d'évaluation auront de plus en plus à gérer des évaluations en collaboration avec des collègues d'autres institutions et ils doivent donc s'y adapter. C'est une tâche difficile, qui pose la question de savoir si certains aspects du processus d'évaluation sont moins "négociables" que d'autres, et, si oui, de savoir comment une collaboration pourrait néanmoins s'établir.

A notre avis, le manuel gagnerait à être complété par une section supplémentaire sur l'évaluation conjointe et nous suggérons en outre que cette dernière ne soit pas décrite comme un problème ou une complication de plus mais comme une opportunité de renforcer le processus d'évaluation, de réaliser des économies d'échelle et de rendre plus efficace la coopération avec le pays bénéficiaire.



3.2. Approche de l'évaluation participative

Un autre développement significatif dans le champ de la recherche en matière d'évaluation correspond à l'évaluation participative. Le concept est apparu au détour de travaux de recherche sur l'utilité et l'utilisation des résultats d'évaluation. Dans les cas où la fonction première de l'évaluation est formative, il est apparu particulièrement utile d'impliquer divers participants/parties-prenantes dans les processus de définition de questions, de développement de méthodes, de collecte d'information et d'élaboration de conclusions. Plus les parties-prenantes auront le sentiment de s'approprier les résultats intellectuels du processus, plus les chances seront grandes qu'elles agissent en prenant en compte les recommandations de l'évaluation. Le terme de parties-prenantes fait ici référence aux organisations impliquées dans la coopération au développement telles que les ONG, les bureaux d'étude, les pouvoirs publics aux niveaux central et décentralisé, etc.

Lorsque d'autres acteurs prennent part au processus, il peut souvent être nécessaire d'adapter ce dernier. Le groupe de référence qui est décrit dans le manuel peut, par exemple, être amené à remplir d'autres rôles et fonctions, et des organes supplémentaires pourraient également voir le jour. L'équipe d'évaluation peut également se voir confier d'autres rôles et avoir besoin de compétences supplémentaires, peut-être davantage en termes de facilitateurs du processus qu'en termes d'opérateurs. Comme pour l'évaluation conjointe, nous pensons que le manuel devrait contenir quelques conseils sur les stratégies d'évaluation participative, encourageant les gestionnaires d'évaluation à expérimenter les approches participatives et leur indiquant comment ajuster et adapter le processus afin de favoriser la participation d'autres acteurs.



3.3. Normes éthiques

La communauté de l'évaluation a consacré beaucoup d'attention à la question de ce qui constitue la qualité en matière d'évaluation. Les "Normes d'Evaluation de Programmes" de 19942 (Programme Evaluation Standards) constituent l'une des publications pionnières les plus influentes sur le sujet. Elle aborde le sujet à travers quatre dimensions : l'utilité, la faisabilité, la précision et la convenance. Le manuel que nous avons consulté traite en détail des aspects du processus d'évaluation qui concourent à la réalisation d'évaluations faisables, précises et utiles mais il contient peu d'éléments relatifs à l'éthique en évaluation.

Il y a de bonnes raisons de penser que les sujets éthiques se révéleront - à long terme - particulièrement aigus dans l'évaluation de la coopération au développement. Les relations de pouvoir asymétriques, la prédominance des modalités de pensée et d'action de type "donateur-bénéficiaire", les systèmes d'incitation souvent pervers qui entourent l'aide ainsi que les différences trans-culturelles contribuent à rendre l'évaluation de l'aide difficile et sujette à des choix éthiques complexes. Le manuel pourrait être complété par une section sur ce que signifient les normes éthiques et la raison pour laquelle de telles normes sont importantes dans l'aide au développement. Le manuel pourrait également décrire quelques pièges éthiques auxquels les gestionnaires et les équipes d'évaluation sont susceptibles d'être confrontés - et dans lesquels il leur arrive de tomber.



3.4. Intégration avec des systèmes connexes

Pour autant que nous ayons compris, EuropeAid en tant qu'organisation applique un système de Gestion Basée sur les Résultats (Results Based Management). La manière dont ce système dans son ensemble, et la prise de décision en son sein, se rattachent au système d'évaluation n'est pas claire. Il existe une ambiguité quant au fait que ces documents sont ou non conçus pour travailler dans la perspective d'une gestion basée sur les résultats (GBR). Certaines sections laissent supposer l'acceptation de la GBR comme cadre conceptuel pour ce document, tandis que le contenu d'autres parties suggère l'inverse - en particulier dans les sections sur les indicateurs et les niveaux cibles. Ce point appelle une attention particulière ainsi que la mention explicite au début du document du lien que ce dernier entretient avec la perspective d'une GBR.
Nous pensons qu'une discussion est également nécessaire pour établir de manière explicite le lien rattachant les documents présentés ici aux fonctions de suivi et d'audit. Il n'y a pas de discussion sur les liens qui seraient nécessaires pour créer un système de suivi et d'évaluation dans un pays, pour les programmes, voire pour les projets. En fait, les documents établissent des distinctions entre l'évaluation, le suivi et l'audit, mais rien n'est dit des similitudes et des liens qui pourraient naître d'une plus grande coordination entre ces approches. Dans le passé, les évaluations de l'UE ont souvent été contraintes par l'utilité limitée des données de suivi. Il serait dommage de ne pas saisir cette occasion pour mieux coordonner ces activités.



4. Remarques finales

Il a été utile pour nous de tenter de donner une vue d'ensemble des documents du site Internet après plus de deux ans d'efforts. Au cœur de la tâche assignée au groupe d'experts figure une appréciation de la "qualité" de ces documents. La "qualité", cependant, est un concept notoirement ouvert aux interprétations, large ou étroite. Il existerait ainsi :

  1. une définition étroite de la qualité scientifique et
  2. une définition plus large de la qualité comme utilité finale du document pour ses destinataires

Au regard de la première définition (1.), le travail réalisé par EuropeAid est bon. Certaines critiques peuvent être faites mais, en général, tant l'exhaustivité des textes que leur précision technique sont appréciables.

Par rapport à la deuxième acception (2.), nous estimons qu'il reste du chemin à parcourir. La "motivation" est presque aussi importante que la "crédibilité" ou la "dissémination", or nous n'avons jusqu'ici vu que peu d'éléments propres à motiver les gestionnaires d'évaluation dans le site Internet. Le document leur fournit des outils pour réaliser un travail mais il fait peu pour les convaincre qu'il s'agit d'un travail utile, créatif, intéressant et valant généralement la peine d'être fait. D'après ce que nous avons compris, beaucoup de gestionnaires d'évaluation dans les Délégations devront assumer un grand nombre d'autres responsabilités, faisant courir le risque que l'évaluation ne devienne pour eux qu'une corvée supplémentaire - qu'il conviendrait de minimiser. Bien que le site Internet ne puisse par lui-même changer cette situation, il devrait au moins témoigner d'une certaine compréhension du problème.



5. Experts

Kim Forss, Andante, Stockholm

Kim Forss travaille pour Andante - tools for thinking AB. Son travail est dédié à la recherche et au conseil dans le champ de la recherche en évaluation, la recherche sur les politiques dans le domaine des relations internationales et le développement organisationnel. Il est l'auteur de communications relatives à la qualité et à l'utilisation des résultats d'évaluation dans la perspective d'une meilleure gestion démocratique.


John Mayne, Ottawa

John Mayne est un conseiller indépendant en matière de performance du secteur public. Auparavant, il a travaillé auprès du Bureau du Vérificateur Général du Canada et du Secrétariat du Conseil du Trésor du Canada. Il a travaillé de manière approfondie sur l'appréciation de la qualité des évaluations. Il a également publié plusieurs ouvrages dans le domaine de l'évaluation de programme, dont notamment un livre international sur l'évaluation et la mesure de la performance.


Christopher Pollitt, Université de Rotterdam

Christopher Pollitt a une longue expérience de recherché et d'enseignement en évaluation et en gestion publique, d'abord à Brunel University (Royaume Uni) et actuellement à l'Université de Rotterdam (Pays Bas). Il a fait partie de plusieurs réseaux de recherche dans ces domaines en relation avec l'OCDE. Il a présidé la Société Européenne d'Evaluation. Il a publié une analyse critique d'une série de guides d'évaluations.


Ray Rist. World Bank - OED, Washington

Ray Rist travaille actuellement comme conseiller méthodologique pour l'OED (Banque Mondiale). Il a travaillé auparavant au sein du General Accounting Office des Etats-Unis. Il a une connaissance approfondie des pratiques d'évaluation au niveau mondial.


Pierre Spitz, INRA, Paris

Pierre Spitz travaille pour l'Institut National de la Recherche Agronomique (INRA) à Paris. Son domaine d'expertise concerne le développement rural. Il a également travaillé pour des agences des Nations Unies au cours de la dernière décennie.



1 C'est le cas pour certaines sections relatives aux outils
2 The Joint Committee on Standards for Educational Evaluation. The Program Evaluation Standards. Thousand Oaks, CA: Sage Publications, Inc. 1994

Top