IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Bases méthodologiques > Comment
Last updated: 07/03/2006
EuropeAid

Bases Méthodologiques
Processus d'évaluation (Comment ?)
Conception méthodologique

EuropeAid
 

Développer un outil

 


Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

Conception
• Vue d'ensemble
• Tableau de conception
• Conception d'ensemble
• Développement des outils
• Faisabilité

 
 

Pourquoi faut-il des outils

Les outils d'évaluation sont requis pour collecter des données primaires et secondaires, pour l'analyse de données et pour formuler des jugements de valeur (ou appréciation raisonnée). L'équipe d'évaluation externe peut réaliser certaines de ces tâches sans outils, mais plusieurs outils sont toujours nécessaires pour répondre à chacune des questions d'évaluation.
Il existe une large gamme d'outils : depuis les plus simples et les plus habituels, comme les extraits de bases de données, les analyses documentaires, les entretiens ou les visites de terrain, jusqu'aux plus techniques comme les focus groups, la modélisation ou l'analyses coût-avantages. Ce site décrit une série d'outils fréquemment employés.
En utilisant une combinaison appropriés d'outils, l'équipe d'évaluation renforce la base factuelle de son travail, la fiabilité des données, la validité de ses raisonnements et la crédibilité de ses conclusions.

Top

Comment les outils sont-ils choisis ?

Les outils sont choisis au cours du processus itératif de conception d'ensemble de la méthode d'évaluation en vue de :

  • Contribuer à répondre à toutes les questions et sous-questions, et formuler un jugement d'ensemble
  • Collecter / rassembler les données, aider à l'analyse et à la formulation de jugements de valeur (ou appréciation raisonnée)
  • Faciliter le croisement de l'information et la triangulation
  • Obtenir une combinaison d'outils appropriée afin qu'ils se renforcent mutuellement
  • Respecter les contraintes de contexte, comme la disponibilité de l'expertise et des données, les ressources allouées, le calendrier.
Top

Quand développe-t-on les outils?

Tous les outils d'évaluation sont développés progressivement et finalisés avant le début de la phase de terrain. Toutefois, certains outils doivent être mis en œuvre, et donc développés en amont du processus, ex: entretiens avec les principales parties prenantes lors de la phase de démarrage, l'analyse des bases de données de gestion lors de la phase documentaire, etc.

Top

Développer un outil

Bien que l'ensemble des outils d'évaluation doive être sélectionné en fonction de la conception globale de l'évaluation, chaque outil doit être développé séparément. Un exemple de développement d'outil est donné sur ce site internet.
Un outil peut être décrit en quelques lignes dans le rapport de démarrage ou dans le rapport de première phase (desk). Toutefois, cette tâche peut nécessiter une formalisation plus importante, y compris sous la forme de termes de référence en bonne et due forme, notamment lorsque plusieurs membres de l'équipe d'évaluation travaillent séparément, par exemple si le travail est réalisé dans différents pays, ou si l'outil est sous-traité.
Le développement d'un outil est réalisé selon sept étapes, comme suit :

Top

Questions et sous-questions

L'équipe d'évaluation liste les questions et sous-questions couvertes par l'outil. Elle se réfère aux tableaux de conception.

Top

Spécifications techniques

L'équipe d'évaluation développe les caractéristiques techniques de l'outil au cours d'une étape préparatoire. Les spécifications techniques dépendent du type d'outil. Elles couvrent des sujets comme :

  • L'échantillonnage, le choix des entretiens, des études de cas, des documents, etc.
  • Les questions, les thèmes d'une analyse documentaire, le contenu des monographies, les champs d'une base de sonnées, …
  • Les modalités de mise en œuvre
  • La durée des entretiens, des focus groups, des visites, …

Attention ! - En développant un questionnaire ou un guide d'entretien, l'équipe d'évaluation ne doit pas procéder en copiant et collant les sous-questions. Si les questions et les sous-questions sont posées naïvement aux informateurs, les risques de biais sont considérables.

Top

La gestion des risques

L'équipe d'évaluation apprécie les risques principaux risques liés à la collecte et à l'analyse des données, aussi bien que les biais potentiels. Si nécessaire, elle prépare des solutions de remplacement au cas où l'outil ne pourrait pas être utilisé d'une manière satisfaisante. Les lignes suivantes fournissent des exemples de risques liés aux outils d'évaluation, et des exemples de solutions de remplacement :

  • A propos de la base de données X, si plus de 20% des données manquent toujours après 4 semaines, alors analyser les données disponibles et demander à l'expert Y de commenter la validité des constats
  • A propos de la série d'entretiens X, si plus de 30% des personnes interrogées ne peuvent pas être contactées après 3 semaines, alors collecter une information de " deuxième main " par l'intermédiaire de l'expert Y.
  • A propos du questionnaire X, si le nombre de répondants descend en-dessous de 200, organiser un focus groupe et croiser les constats avec ceux de l'enquête par questionnaire.

Cette liste n'est pas limitative.

Top

Modalités de compte rendu

Les produits varient d'un outil à l'autre. Ils peuvent prendre la forme de tableaux, de listes of citations ou de verbatims, de monographies, etc. L'équipe d'évaluation décide de la forme des produits, par exemple :

  • Données complètes délivrées au leader de l'évaluation d'évaluation
  • Données complètes incluses dans un CDROM annexé au rapport final (dans ce cas certains documents peuvent nécessiter d'être anonymisés)
  • Tableaux ou encadrés à insérer dans le rapport final

L'équipe d'évaluation décide aussi la manière de présenter la mise en oeuvre de l'outil et ses limites s'il y en a, ex :

  • Note à insérer dans l'annexe méthodologique attachée au rapport final
  • Court commentaire méthodologique à insérer dans le rapport final

Top

Responsabilités

Les tâches et rôles sont partagés parmi les membres de l'équipe d'évaluation, ex:

  • Qui doit mettre en oeuvre l'outil ?
  • Quoi doit assurer l'harmonisation dans le cas où plusieurs membres mettent en oeuvre un même outil dans différents pays/territoires ?
  • Qui décide des solutions de remplacement en cas de difficulté ?
  • Qui est responsable de la délivrance des produits ?
  • Qui écrira les commentaires méthodologiques ?
  • Qui va assurer la qualité ?

Top

Qualité

Les critères de qualité sont définis précisément. Selon les outils, ils peuvent concerner les sujets suivants :

  • Couvertures des thèmes, questions, sujets
  • Précision
  • Identification des biais potentiels
  • Respect des règles d'anonymat ou d'autres règles d'éthiques
  • Qualité formelle, langue, orthographe, format

Ce site propose une série de check-lists pour la qualité des outils fréquemment utilisés.

Top

Calendrier et ressources

Dans certains cas, il peut être nécessaire de spécifier les conditions pratiques telles que :

  • date de début / fin
  • ressources humaines allouées
  • les modalités concernant les déplacements
  • les dépenses techniques

Top