IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Bases méthodologiques > Comment
Last updated: 16/12/2005
EuropeAid

Bases méthodologiques
Processus d'évaluation (Comment ?)
Références de jugement

EuropeAid
 

Des questions aux indicateurs




Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

Références
• Vue d'ensemble
• Critère de
jugement

• Niveau cible
• Indicateur

 
 
Exemple de question
  • Dans quelle mesure l'aide de la CE a-t-elle amélioré la capacité du système éducatif à accueillir les élèves des groupes défavorisés sans discrimination?

Des questions aux critères de jugement

Le critère de jugement (également appelé critère d'appréciation raisonnée) précise un aspect de l'intervention évaluée qui va permettre d'évaluer son mérite ou sa valeur de façon à répondre à la question évaluative. Par exemple :


Critère de jugement dérivé de la question
  • Capacité du système d'enseignement primaire à accueillir les élèves de la minorité ethnique X avec une qualité satisfaisante

Le critère de jugement donne une indication claire de ce qui est positif ou négatif, par exemple : " renforcement des effets attendus " est préférable à " prise en compte des effets potentiels ".


Un critère de jugement plus précis que la question

La question est rédigée de façon non technique dans un langage facilement compréhensible par tous, quitte à être peu précise.
Le critère de jugement focalise la question sur les éléments les plus essentiels pour le jugement.
Toutefois, le critère de jugement n'a pas besoin d'être totalement précis. Dans le premier exemple, le terme " qualité satisfaisante " pourra être précisé ultérieurement (au stade de l'indicateur).

Pas trop de critères

Il est souvent possible de définir de nombreux critères de jugement pour une même question, mais cela alourdirait la collecte d'information et de rendrait la réponse moins claire.
Dans l'exemple ci-dessous, la question est traitée avec trois critères de jugement (approche multicritère) :

  • " capacité du système d'enseignement primaire à accueillir les élèves de la minorité ethnique X avec une qualité satisfaisante "
  • " capacité du système d'enseignement primaire à accueillir les élèves des zones urbaines les plus pauvres avec une qualité satisfaisante "
  • " capacité du système d'enseignement primaire à accueillir les filles "

Un critère de jugement fidèle à la question

Le critère de jugement ne doit pas trahir la question. Dans l'exemple suivant, deux critères de jugement sont envisagés pour traiter la même question :

  • " capacité du système d'enseignement primaire à recruter des élèves de la minorité ethnique X avec une qualité satisfaisante"
  • " les élèves de ma minorité ethnique X quittent l'école primaire en réussissant l'examen final "

Le premier critère de jugement est fidèle à la question alors que le second l'est moins dans la mesure où il concerne le succès à l'école primaire, alors que la question porte seulement sur l'accès. Peut-être avait-on mal rédigé la question et est-il encore temps de la modifier.

Préciser également le champ de la question

La plupart des questions comportent un champ (ce qui est jugé) et un critère de jugement (la façon de juger). En plus du critère de jugement, il est donc souvent souhaitable de préciser le champ de la question, par exemple : " l'aide européenne allouée au cours des X dernières années ", " la conception du programme X ", " le principe de décentralisation adopté pour mettre en œuvre l'action X ".

Préciser également le type d'analyse de causalité

Certaines questions impliquent une analyse de cause-à-effet préalable au jugement. Il peut donc être également souhaitable de préciser le type d'analyse souhaité à l'aide de termes tels que " l'aide européenne a-t-elle conduit à ", " a-t-elle contribué à ", " est-elle susceptible de ".

Top

Des critères de jugement aux indicateurs

Un indicateur décrit de façon précise l'information qui doit être recherchée pour répondre à la question selon le critère de jugement choisi, par exemple :


Indicateur dérivé du critère de jugement
Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en âge de fréquenter l'école primaire dans les zones où la minorité ethnique X est concentrée

Pas trop d'indicateurs

Il est possible de définir beaucoup d'indicateurs pour un même critère de jugement. Se baser sur plusieurs indicateurs permet de croiser les données et de renforcer les éléments de preuve sur la base desquels on répond à la question. A l'inverse, un nombre excessif d'indicateurs alourdit le travail de recueil de données sans nécessairement améliorer la robustesse de la réponse à la question.
Dans les exemples ci-dessous, un critère de jugement (" capacité du système d'enseignement primaire à accueillir les élèves de la minorité ethnique X avec une qualité satisfaisante ") est traité avec trois indicateurs :

  • " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire dans les zones où la minorité ethnique X est concentrée "
  • " Nombre d'élèves par enseignant dans les zones où la minorité ethnique X est concentrée "
  • " Niveau de qualité des locaux (échelle de 1 à 3) affectés à l'enseignement primaire dans les zones où la minorité ethnique X est concentrée "

Indicateur fidèle au critère de jugement

L'indicateur ne doit pas trahir le critère de jugement. Deux indicateurs sont envisagés ci-dessous :

  • " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire dans les zones où la minorité ethnique X est concentrée "
  • " Taux de scolarisation à l'école primaire dans les zones où la minorité ethnique X est concentrée "

Le premier indicateur est fidèle dans la mesure où il décrit un aspect essentiel du critère de jugement. Le second indicateur est moins fidèle car il ne reflète pas le concept de " qualité satisfaisante ". On dit que sa validité de construction n'est pas bonne.

Indicateurs sans ambiguïté

Un indicateur doit être défini sans aucune ambiguïté et doit pouvoir être compris de la même façon par tous les membres de l'équipe d'évaluation. Par exemple, dans les exemples précédents, il convient de préciser ce qu'est un " enseignant qualifié et expérimenté ". Cela peut se faire par référence à une définition existante. A défaut, il convient de rédiger la définition, aussi précisément que nécessaire jusqu'à ce qu'il n'y ait plus aucune ambiguïté.

Indicateurs indépendants du champ d'observation

Un même indicateur doit pouvoir servir à collecter l'information dans plusieurs contextes, par exemple :

  • " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire" - dans les zones où la minorité ethnique X est concentrée.
  • " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire" - dans les zones où la minorité ethnique X est absente.

Dans ce cas, le même indicateur est appliqué dans les deux types de zones et sert à faire une comparaison, sur la base de laquelle un jugement sera formulé.

Indicateurs quantitatifs ou qualitatifs

Les deux exemples qui suivent présentent une alternative entre un indicateur quantitatif et un indicateur qualitatif pour traiter le même critère de jugement :

  • "Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire " (quantitatif)
  • "Les parents interrogés confirment que leurs enfants ont la possibilité d'aller à l'école primaire et bénéficient d'un enseignant qualifié et expérimenté " (qualitatif)

De préférence, un indicateur est associé à un niveau cible

Le niveau cible indique quelle comparaison devra être faite pour permettre de répondre à la question, par exemple : " Dans les zones où la minorité ethnique X est concentrée, l'indicateur est au moins aussi bon que dans la moyenne du pays "
Le niveau cible et l'indicateur sont souvent précisés de façon interactive par étapes successives. Attention à ne pas s'éloigner du critère de jugement pendant ce processus.
Quand la question d'évaluation se rapporte à un résultat ou un impact attendu, le niveau cible est habituellement dérivé d'un objectif vérifiable ou emprunté à un système d'appréciation des performances.

Indicateurs faisables

L'indicateur permet de focaliser et de structurer la collecte d'information, mais il ne sert à rien si cette information n'existe pas. Pour s'assurer de la faisabilité d'un indicateur, il convient donc d'indiquer la source d'information à utiliser, par exemple :

  • données de gestion du système éducatif national,
  • enquêtes nationales périodiques sur le système éducatif,
  • enquête par questionnaire réalisée dans quelques zones spécialement sélectionnées et dans le cadre de l'évaluation.

Si aucune source n'est disponible ou faisable, alors il convient de changer l'indicateur. S'il n'est pas possible de trouver un indicateur faisable, alors il faut envisager d'abandonner la question.

Top

Exemples

Question, critère de jugement et indicateur pour une évaluation …

  • au niveau pays: exemple d'une question portant sur la cohérence avec les autres politiques de la CE
  • dans un secteur (éducation)

Top