Bases méthodologiques
Processus d'évaluation (Comment ?)
Analyse

Facteurs externes

• Qui sont-ils ?
• Pourquoi sont-ils importants ?
• Exemples représentatifs
• Comment peuvent-ils être identifiés ?
• Recommandations

Qui sont-ils ?

Facteurs intégrés dans le contexte de l'intervention qui entravent ou amplifient les changements attendus tout en étant indépendant de l'intervention elle-même.
Des facteurs externes s'appellent également contextuels, exogènes ou facteurs concurrents.

Pourquoi sont-ils importants ?

• Comprendre leur influence afin d'isoler les effets de l'intervention d'autres effets.
• Identifier les facteurs contextuels pouvant empêcher la transferrabilité des leçons apprises.
• Ajuster les échantillons des participants et non-participants afin de les rendre comparables et de réaliser la validité interne.

Exemples représentatifs

Les facteurs expliquant la participation dans l'intervention :

• Les candidats potentiels sont (ne sont pas) familiers avec l'agence mise en place.
• Ils appartiennent (n'appartiennent pas) à un club de bénéficiaires.
• Ils ont (n'ont pas) un comportement systématique de recherche de subventions
• Ils ont (n'ont pas) des difficultés sociales ou économiques qui les empêchent d'avoir accès à des subventions/prêts

Facteurs expliquant la réalisation d'impacts spécifiques :

• Les stagiaires avaient un niveau élevé (faible) d'éducation, avant de faire partie du programme. En plus de l'intervention, ce facteur explique en partie les compétences demandées.
• Le public cible avait un niveau élevé (faible) de connaissance avant d'avoir été atteint par la campagne de sensibilisation. En plus de l'intervention, ce facteur explique en partie leur niveau actuel de prise de conscience.
• Les entreprises bénéficiaires étaient grandes (petites), jeunes (anciennes), en croissance (en récession), quand elles ont reçu des aides. En plus de l'intervention, ces facteurs expliquent en partie leur niveau actuel de compétitivité.

Facteurs expliquant l'impact global

• L'agriculture locale a bénéficié d'un climat exceptionnellement favorable pendant la période du programme (ou l'inverse). En plus de l'intervention, ce facteur explique en partie le changement dans le revenu des fermiers.
• Les tendances économiques internationales étaient exceptionnellement favorables pendant la période du programme (ou l'inverse). En plus de l'intervention, ce facteur explique en partie l'évolution des exportations.

Lorsque l'évaluation implique de tels facteurs externes, il peut être intéressant de consulter les indicateurs de contexte qui sont disponibles sur Internet.

Comment peuvent-ils être identifiés ?

Dans une évaluation donnée, les facteurs externes sont potentiellement nombreux et il est crucial de mettre en lumière ceux qui sont les plus importants. Les approches suivantes peuvent aider :

• Expliciter la logique d'intervention et mettre en lumière des hypothèses implicites de causalité
• Analyser les travaux de recherche et d'évaluation précédents.
• Recueillir l'avis des experts
• Engager des enquêtes qualitatives

L'identification des facteurs externes est un des principaux objectifs de l'analyse exploratoire.

Recommandations

Ne pas essayer d'identifier tous les facteurs externes possibles lors de la phase de structuration de l'évaluation et de la clarification de la logique d'intervention. Ils sont simplement trop nombreux. Cette tâche ne devrait être entreprise que dans le cas d'une question évaluative donnée et seulement si la question implique une analyse causale.