IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Commission européenne > EuropeAid > Evaluation > Méthodologie > Bases méthodologiques > Comment
Last updated: 02/09/2005
EuropeAid

Bases méthodologiques
Processus d'évaluation (Comment ?)
Références de jugement

EuropeAid
 

Fiabilité des données collectées




Méthodologie
• Guide d'évaluation
• Bases méthodologiques
• Outils d'évaluation
• Exemples
• Glossaire
• Sitemap

Méthodes
• Quoi
• Quand
• Pourquoi
• Qui
• Comment

Comment
• Vue d'ensemble
• Stratégie
• Questions
• Références
• Conception
• Collecte
d'information

• Analyse
• Jugement
• Assurance
qualité

Collecte
• Vue d'ensemble
• Données existantes
• Difficultés fréquentes
• Fiabilité

 
 
Quels sont les risques ?

En collectant l'information, l'équipe d'évaluation rencontre différents risques de biais qui peuvent affecter la fiabilité des données collectées.


Pourquoi faut-il considérer avec attention les biais ?
  • Pour améliorer la fiabilité de la collecte de données
  • Pour mesurer la qualité de l'évaluation
  • Pour comprendre les limites des conclusions qui reposent sur des données de fiabilité faible
Top

Les biais les plus fréquents

Biais de confirmation

Ce biais concerne l'ensemble des approches de collecte de données. Il résulte de la tendance à rechercher les preuves qui soient cohérentes avec la logique d'intervention, à la place de rechercher les preuves qui pourraient la réfuter.

L'équipe d'évaluation et les informateurs sont sujet à ce biais lorsqu'ils ont tendance à se focaliser sur les effets attendus et de systématiquement oublier les facteurs externes, les effets non attendus, les effets négatifs, les interactions avec d'autres politiques, les parties prenantes externes, les options alternatives de mise en œuvre, etc.

Ce biais est évité en faisant appel à des évaluateurs indépendants et professionnels.


Autocensure

Dans certains cas, les informateurs peuvent être réticents à répondre librement aux questions, simplement parce qu'ils ressentent un risque. Ils ont tendance à exprimer strictement le point de vue de leur institution ou de leur hiérarchie.

Ce biais est traditionnellement combattu par une garantie de traitement confidentiel des réponses. La personne posant les questions doit insister sur des questions factuelles et éviter de collecter des opinions.


Stratégie des informateurs

Celui qui aura été impliqué dans l'intervention peut distordre une partie de l'information qu'il fournit afin d'attirer les conclusions de l'évaluation vers ses points de vue.

Ce biais pourra être réduit si l'ensemble des parties prenantes est atteint par le plan de collecte d'information et si différentes sources d'information sont croisées.


Echantillon non représentatif

Ce biais peut être un sujet d'inquiétude si l'équipe d'évaluation génère des données quantitatives à l'aide d'une enquête par questionnaire. Il doit être également considéré lorsqu'on utilise des données secondaires issues d'une enquête par questionnaire.

Dans ces cas, on doit vérifier que l'échantillon d'informateurs enquêtés est suffisamment grand et représentatif de la population dans son ensemble.


Question induisant les réponses

Ce biais et les suivants sont fréquents dans les entretiens et les questionnaires.

La manière dont sont posées les questions par l'enquêteur ou ses réactions aux questions peut générer un biais qui peut aussi bien être positif ou négatif.

Egalement l'ordre des questions dans un questionnaire peut changer le contenu des réponses.

Ce biais sera limité en ayant des questionnaires élaborés et testés par des professionnels expérimentés.


Biais d'empathie

Les personnes interrogées peuvent ne pas avoir une opinion pré-établie à propos de la question qui leur est posée. Ils s'efforcent de se faire leur propre opinion en quelques secondes en répondant à l'enquêteur ou au questionnaire. En faisant ça, ils peuvent être fortement influencés par le contexte.

Spécialement dans le cas d'entretiens, l'équipe d'évaluation doit créer une atmosphère conviviale (empathique), afin d'atteindre un haut taux de réponses et une finalisation rapide de l'enquête.

La combinaison des deux causes introduit un biais positif systématique dans les réponses qui aura tendance à faire surestimer les bénéfices de l'intervention et sous estimer le rôle des facteurs externes.

Ce biais est empêché en faisant appel à des enquêteurs correctement formés.


Biais de sélection de l'échantillon

Les personnes qui acceptent d'être enquêtées peuvent ne pas être représentatives de l'ensemble du public cible.

Ce biais peut être contrôlé en menant une enquête qualitative spéciale sur un petit nombre de " non répondants ", tout en sachant que cet exercice implique des coûts additionnels.


Top

Recommandations
  • Faire appel à une équipe d'évaluation indépendante et professionnelle dans le but de limiter les biais de confirmation.
  • Mélanger systématiquement des questions positives et négatives afin de réduire le biais d'empathie et les biais sur les questions.
  • Etre très crédible au moment de promettre la confidentialité pour limiter l'autocensure des répondants,… et respecter strictement cette promesse.
  • Ne jamais compter sur une seule catégorie de parties prenantes (gestionnaires de programmes, bénéficiaires) afin de réduire les biais stratégiques.
Top