IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Outils d'évalutaions
Last updated: 15/12/2005
EuropeAid

Outils de l'évaluation

EuropeAid
 

Quand utiliser quels outils ?

 


Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évalutaions
• Exemples
• Glossaire
• Sitemap

Outils de l'évaluation
• Quels outils ?
• Quand utiliser
quels outils ?

• Quelle combinaison
d'outil ?

• Quelles contraintes
et exigences
spécifiques ?

• Check list de
l'usage des outils

 
  Les outils et les quatre fonctions de l'évaluation

Le classement des outils selon les quatre grandes fonctions est un premier élément de choix.
Pour chaque outil, le tableau ci-dessous propose les fonctions auxquelles l'outil est destiné et celles auxquelles il peut contribuer utilement. La plupart des outils ont ainsi une fonction principale et une ou plusieurs fonctions secondaires. On rappelle que la liste d'outils présentée ci-dessous n'a aucun caractère limitatif.


Fonctions et polyvalence des outils

Outil Structuration Observation / collecte Analyse Jugement
Diagramme
des
objectifs et
diagramme
des effets
       
Diagramme
des
problèmes
       
Diagramme
des
décisions
       
Entretien
individuel
       
Focus group        
Enquête par
questionnaire
       
Etude de cas        
SWOT        
Indicateurs
de contexte
       
Panel
d'experts
       
Analyse
culturelle et
sociale
       
Analyse
multicritère
       
Analyse
coût
efficacité
       

Fonction principale  
Fonction secondaire  


Les outils de structuration

La structuration de l'évaluation peut utilement s'appuyer sur une première série d'outils regroupés ici sous le terme d'outils de structuration. Dans le cas d'une évaluation de projet ou de programme homogène, le cadre logique décrivant les objectifs (globaux et spécifiques) de l'intervention, les problèmes auxquels elle répond, et les résultats attendus, constitue l'outil de structuration de l'évaluation. L'utilisation du diagramme des problèmes est souvent recommandée en plus du cadre logique.
Pour les évaluations dont le champ comprend un ensemble d'objectifs et d'activités hétérogènes, notamment les évaluations géographiques, trois outils sont proposés ici, dont le premier, le diagramme des objectifs et des effets, constitue le pilier. Lorsque qu'il s'agit de programmes complexes ou de stratégies, le diagramme des problèmes permet de répondre à des questions sur la pertinence des objectifs, d'identifier les enjeux de l'intervention et inversement les problèmes auxquels elle n'a pas eu pour but de proposer de solutions. Enfin, le diagramme des décisions complète utilement le diagramme des objectifs dont la rationalité ne permet pas d'appréhender les origines de toutes les orientations et décisions, notamment celles qui conduisent à éliminer certains choix et/ou qui résultent d'une négociation avec les partenaires.
Ces outils sont également utilisables dans les phases d'analyse et de formulation des jugements (voir polyvalence des outils).

Les outils de collecte, d'analyse et de jugement

Dans ces trois fonctions, il existe une panoplie étendue d'outils, souvent complémentaires et/ou polyvalents. C'est ainsi que nombreux facteurs sont à prendre en compte pour effectuer un choix efficace. Bien qu'il n'existe pas de formules permettant d'assurer un choix optimal, il existe en revanche un cheminement (lien) favorisant l'élaboration d'une méthode homogène et susceptible de conduire à une réponse solide aux questions.

Top

  Polyvalence des outils

La liste des outils qu'il serait souhaitable de mobiliser est fréquemment trop étendue pour que les ressources de l'évaluation permettent d'envisager la mise en œuvre de tous les outils. Des arbitrages sont nécessaires, en s'appuyant sur les priorités de l'évaluation et en optimisant l'utilisation des ressources. Plus le champ et le questionnement de l'évaluation sont étendus, plus le risque de dispersion est grand et donc plus l'équipe d'évaluation doit être attentive à ce que ses observations et ses analyses permettent de répondre aux questions essentielles de l'évaluation. L'équipe prendra donc en compte le fait que, d'une part, plusieurs outils sont généralement nécessaires pour remplir une même fonction et recouper l'information et que, d'une autre part, les outils sont souvent polyvalents et contribuent à répondre à plusieurs questions à la fois.


Critères de choix des outils

Outre la fonction des outils et leur capacité à remplir l'une ou l'autre des quatre grandes fonctions de l'évaluation, d'autres critères doivent être examinés.
Les critères de choix proposés ici ont pour objet de guider l'évaluateur dans les arbitrages nécessaires à la finalisation de la méthode.

  • La maîtrise des techniques. Si tous les outils proposés ici doivent pouvoir être utilisés par les équipes d'évaluation, pour certains outils il est souhaitable qu'un membre de l'équipe en ait déjà fait l'expérience. C'est notamment le cas des outils nécessitant la maîtrise de techniques spécifiques d'animation de groupe, d'outils relativement complexes comme l'analyse multicritère ou l'analyse coût-efficacité ou encore pour l'enquête par questionnaire.
  • Le besoin de données spécifiques. Certains outils nécessitent la collecte de données particulières sans lesquelles leur mise en œuvre risque de produire des conclusions erronées. Par exemple, une analyse coût-efficacité nécessite des indicateurs d'efficacité des projets comparés, sans lesquels la mise en œuvre de l'outil n'est pas possible. Avant de décider d'utiliser l'outil, il faut s'assurer que ces données sont disponibles ou qu'elles pourront être élaborées avec une fiabilité suffisante.
  • Les ressources nécessaires pour l'utilisation de l'outil. La question est particulièrement sensible pour les outils mis en œuvre au cours des missions dans un pays partenaire et qui entraînent parfois des coûts spécifiques élevés. Il importe de s'assurer de leur pertinence dans la méthode et de rechercher la voie la moins coûteuse et la plus efficiente (notamment pour la collecte de donnés).
  • Le délai de réalisation. Certains outils nécessitent des délais de préparation importants avant leur mise en œuvre sur le terrain, c'est notamment le cas des enquêtes ou, à un moindre degré, de certains focus groups et panels d'experts.
  • La disponibilité d'experts locaux qualifiés, capables de mettre en œuvre des outils particuliers dans les langues locales. Cette question est particulièrement cruciale pour les outils qui nécessitent des techniques d'animation de groupe (focus groups, etc.) pour lesquelles des experts de bon niveau disponibles sont parfois difficiles à identifier.

Le tableau ci-dessous propose pour chaque outil une notation des cinq critères, mettant l'accent, pour chaque outil, sur les critères qui nécessitent une attention particulière. Chaque critère est noté de 1 à 3. La note 1 indique que le critère ne pose pas de problème particulier pour cet outil. La note 3 indique que pour le critère concerné, il est recommandé de vérifier de la faisabilité de la mise en œuvre l'outil.

Exigences spécifiques des outils

Outil Maîtrise
des
techniques
Informations
spécifiques
Coût Délai Experts
locaux
qualifiés
Diagramme des
objectifs et
diagramme des effets
2 1 1 1 1
Diagramme des
problèmes
2 1 1 1 1
Diagramme des
décisions
2 1 1 1 1
Entretien
individuel
1 1 1 1 1
Focus group 2 1 1 2 3
Enquête par
questionnaire
3 1 3 3 2
Etude de cas 1 2 2 3 1
SWOT 1 3 2 2 1
Indicateurs de
contexte
2 1 1 1 1
Panel d'experts 2 1 1 2 2
Analyse multicritère 2 3 2 2 2
Analyse coût efficacité 3 3 3 2 1
exigence forte (3) , moyenne (2), faible (1)

Pour en savoir plus :

Des notations de niveau 3 ne signifient pas qu'il faut éviter d'utiliser l'outil. Il est en effet recommandé de donner la priorité aux outils assurant les meilleures réponses aux questions posées et, dans un deuxième temps, de s'assurer de la possibilité de les mettre en œuvre dans le contexte et avec les ressources de l'évaluation.


Le développement d'une méthode homogène
  • La conception de la méthode doit viser la mise en place d'une technicité homogène et efficace. Il est inutile de prévoir la mise en œuvre d'outils très sophistiqués pour remplir une fonction si les autres fonctions ne sont pas traitées avec une précision ou une rigueur similaire ou si les autres outils ne peuvent pas fournis les informations nécessaires ou utiliser les informations produites.
  • La collecte doit être conçue avec une attention particulière car il est rarement possible de relancer une collecte incomplète, surtout pour la partie effectuée dans le pays partenaire. La même attention doit être portée aux outils d'analyse et de jugement qui sont mis en œuvre dans le pays partenaire.
  • À cette fin, il est utile d'estimer les risques d'insuccès liés à la mise en œuvre de chaque outil et le cas échéant de prévoir des solutions alternatives, afin d'en limiter les conséquences sur l'ensemble de l'évaluation.

En définitive, la méthode doit se développer en s'appuyant sur la palette d'outils disponibles en prenant en compte leurs avantages et leurs contraintes, les conditions de leur mise en œuvre dans le cadre des évaluations de l'aide au développement, les ressources nécessaires à leur mise en œuvre ainsi que les limites des résultats que l'on peut en attendre, notamment en fonction du contexte.


Analyse des outils

Diagramme des objectifs et diagramme des effets

Fonction prioritaire Structuration de l'évaluation
Avantages Permet de reconstruire la logique de l'intervention et les effets escomptés.
Contribue à la formulation des questions d'évaluation.
L'outil joue un rôle de premier plan dans la structuration de l'évaluation des programmes complexes (c'est le cas des stratégies pays/Région).
Contraintes potentielles Accès limité à la documentation. Information mal élaborée
Résultats attendus Formulation des questions d'évaluation.
Reconstruction de la logique d'intervention du programme.
Ressources nécessaires Recherche documentaire indispen-sable.
Expertise de l'évaluateur.

Pour en savoir plus :


Diagramme des problèmes

Fonction prioritaire Structuration de l'évaluation
Avantages Permet de valider la pertinence d'un projet, d'un programme ou d'une stratégie, en mettant en relation les effets escomptés et les problèmes qu'ils doivent contribuer à résoudre.
Contraintes potentielles Accès limité à la documentation.
Information mal élaborée
Résultats attendus Validation de la logique d'interven-tion du programme.
Ressources nécessaires Recherche documentaire indispen-sable.
Complémentaire avec le diagramme des objectifs.
Expertise de l'évaluateur.

Pour en savoir plus :


Diagramme des décisions

Fonction prioritaire Structuration de l'évaluation
Avantages Facilite l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).
Contraintes potentielles Accès limité à la documentation.
Information mal élaborée
Résultats attendus Explicitation du processus de décision et de détermination des objectifs stratégiques et/ou politiques.
Analyse de la cohérence et pertinence de la stratégie
Ressources nécessaires Recherche documentaire indispen-sable.
Complémentaire avec le diagramme des objectifs et des problèmes.
Expertise de l'évaluateur.

Pour en savoir plus :


Entretien individuel

Fonction prioritaire Observation / Collecte
Avantages Permet de collecter auprès d'acteurs et de bénéficiaires des informations à toutes les étapes de l'évaluation
Contraintes potentielles Disponibilité et degré de collaboration limités des parties prenantes.
Choix inapproprié des interlocuteurs (manque de représentativité de toutes les parties prenantes)
Subjectivité et spontanéité des opinions exprimées.
Faible degré de comparaison des réponses.
Résultats attendus Faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.
Ressources nécessaires Parties prenantes disponibles.
Délais requis.

Pour en savoir plus :


Focus group

Fonction prioritaire Collecte / Observation
Avantages Permet d'éclairer les raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de s'assurer de leur consistance.
Contraintes potentielles Disponibilité et degré de collabora-tion limités des parties prenantes.
Risque de choix inapproprié /arbitraire d'interlocuteurs (représentativité de toutes les parties prenantes).
Subjectivité des opinions exprimées
Résultats attendus Des opinions stabilisées après discussion approfondie, au lieu d'une opinion spontanée.
Ressources nécessaires Collecte antérieure des informations (le focus group vise à débattre des informations, des opinions et des jugements déjà collectés).
Maîtrise locale pour la facilitation de réunions.

Pour en savoir plus :


Enquête par questionnaire

Fonction prioritaire Collecte / Observation
Avantages Permet de collecter auprès d'un échantillon de population des réponses comparables.
Contraintes potentielles Disponibilité et degré de collabora-tion limités des parties prenantes enquêtées
Traitement lourd, précisant élaboration, des réponses/donnés.
Non maîtrise des techniques.
Résultats attendus Lorsque l'échantillon est représen-tatif, elle permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés.
Ressources nécessaires Expertise requise pour le traitement de données.
Délais requis.
Coûts.

Pour en savoir plus :


Etude de cas

Fonction prioritaire Analyse
Avantages Permet de répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets.
Contraintes potentielles Spécificité des situations analysées (non généralisables).
Risque d'extrapolation/généralisa-tion injustifiée.
Risque de choix inapproprié/ arbitraire des cas d'études (sans rapport avec les objectifs de l'évaluation).
Accès à l'information.
Résultats attendus Réponses aux questions qui nécessitent un approfondissement (comment et pourquoi ?).
Dans des contextes qui le permettent, les études de cas peuvent être sélectionnés pour que les conclusions soient généralisables à l'ensemble de l'évaluation.
Ressources nécessaires Accessibilité des sites et disponibilité de bénéficiaires.
Délais.
Coûts.

Pour en savoir plus :


Panel d'experts

Fonction prioritaire Analyse
Avantages Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer.
Le panel permet d'obtenir l'avis collectif, débattu et consensuel, d'un group d'experts reconnus.
Contraintes potentielles Disponibilité limitée des experts.
Subjectivité de jugements/analyses.
Résultats attendus Des jugements collectifs, nuancés et argumentés, fondés sur les connaissances et l'expérience des experts.
Ressources nécessaires Accessibilité des experts sélection-nés.
Collecte antérieure des informations.
Maîtrise de facilitation de réunions.

Pour en savoir plus :


SWOT

Fonction prioritaire Analyse
Avantages Fréquemment utilisé dans les évaluations ex-ante, il permet dans le cadre ex-post d'évaluer à posteriori les orientations qui ont été mises en œuvre.
Contraintes potentielles Informations trop générales, voire incomplètes ne permettant pas de réaliser une analyse en profondeur.
Risque d'impartialité dans l'analyse des forces/faiblesses.
Non maîtrise de l'outil.
Nécessité d'un consensus autour de l'analyse (perception de menaces/opportunités).
Résultats attendus Diagnostic rapide d'une organisation, territoire, programme-me, secteur à partir de l'analyse des forces et des faiblesses combinée avec l'analyse de l'environnement / contexte en termes d'opportunités et de menaces.
Ressources nécessaires Collecte antérieure des informations (le SWOT nécessite des informations très précises. Autrement il risque de rester un exercice purement abstrait et intellectuel).
Maîtrise de l'instrument.

Pour en savoir plus :


Indicateurs de contexte

Fonction prioritaire Analyse
Avantages Permet d'apprécier les dynamiques de développement par la comparaison du niveau et de l'évolution des principaux indicateurs avec ceux de pays dans des contextes comparables.
Contraintes potentielles Choix inapproprié des indicateurs de contexte.
Manque d'informations suffisantes/ fiables pour compléter les indicateurs.
Résultats attendus Positionnement d'un pays par comparaison de ses indicateurs de contexte à ceux d'autres pays
Ressources nécessaires Nécessite une bonne collecte de donnés, régulière afin de mesurer l'évolution des indicateurs du contexte.
Peut nécessiter des enquêtes par questionnaire.

Pour en savoir plus :


Analyse culturelle et sociale

Fonction prioritaire Analyse
Avantages Consiste à identifier les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêts et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent
Contraintes potentielles Disponibilité limitée des experts.
Subjectivité des jugements/analyses.
Niveau d'abstraction de l'analyse ; distance par rapport à la réalité.
Résultats attendus Une approximation à la notion de capital social dans un territoire donné.
Ressources nécessaires Accessibilité des experts sélection-nés.
Collecte antérieure des informations.
Maîtrise de facilitation de réunions.

Pour en savoir plus :


Analyse multicritère

Fonction prioritaire Jugement
Avantages Outil d'aide à la décision qui, dans le contexte de l'évaluation ex-post, contribue utilement à la formulation de jugements fondés sur un ensemble hétérogène de critères.
Contraintes potentielles Insuffisance/non précision des informations.
Non maîtrise de la technique.
Résultats attendus Jugements sur les questions d'évaluation
Ressources nécessaires Informations requises (collecte et analyse précédents).
Maîtrise de la technique.
Délais.
Coûts.

Pour en savoir plus :


Analyse coût-efficacité

Fonction prioritaire Jugement
Avantages Permet de comparer l'efficience de projets ou de programmes recher-chant des effets comparables.
Contribue utilement à la formulation ou la validation du jugement sur le choix des projets et programmes les plus efficients.
Contraintes potentielles Insuffisance/non précision des informations.
Non maîtrise de la technique.
Résultats attendus La méthode vise à identifier l'action qui atteint un résultat au meilleur coût.
Des jugements sur le choix de projets /programmes.
Ressources nécessaires Informations requises (collecte et analyse précédents).
Maîtrise de la technique.
Coûts.
Délais.

Pour en savoir plus :


Top