Statistique de la coopération au développement - qualité en statistique

Cet article fait partie d’un ensemble d’articles fournissant un ‘synopsis’ de la coopération statistique internationale entre l’Union européenne (UE) et les pays en développement, adressé à des non-statisticiens ayant besoin de faire intervenir des statistiques dans des programmes et projets de développement. Ce synopsis sert de point d’entrée et d’introduction à la publication détaillée d’Eurostat 'Guide de la statistique de la coopération au développement de la Commission européenne', téléchargeable au format PDF en anglais, français et espagnol (dénommée ci-après 'le Guide').

De nombreux pays en développement ont de faibles systèmes statistiques et mécanismes de mesure des résultats. Des statistiques de qualité et fiables sont essentielles pour mesurer les progrès réalisés par rapport aux objectifs de développement et fournissent de l’information essentielle sur l’efficacité de ces politiques et programmes. Elles aident les gouvernements à améliorer leurs politiques et à être transparents et responsables en présentant les résultats des actions de développement. Des statistiques fiables sont un élément clé pour une meilleure mesure, suivi et gestion des résultats de l’aide au développement.

La qualité des statistiques est souvent définie comme « l’aptitude à l’usage » par les utilisateurs finaux. La qualité dépend donc de l’utilisation et des utilisateurs des données. L’analyse de la qualité des statistiques permet d’identifier des secteurs cibles pour le renforcement de la capacité. La capacité à fournir des données régulières et fiables sur l’économie et le bien-être de la population est un signe du bon fonctionnement des politiques et institutions.

Article complet

La qualité en statistique

Selon l'Organisation internationale de normalisation (ISO), la qualité est :

« L'ensemble des caractéristiques d'une entité qui lui confèrent l'aptitude à satisfaire des besoins exprimés et implicites. »

La qualité n'est pas nécessairement un synonyme d'excellence absolue : la qualité est souvent relative par rapport aux besoins à satisfaire.

Principales questions à considérer lors de l'évaluation du système statistique national (SSN) d'un pays en développement :

Le système statistique national est-il capable de produire de bonnes statistiques en termes de qualité et de quantité?
Quelles sont les statistiques que le système statistique national produit réellement?

La présente section se rapporte directement aux sections relatives à la disponibilité des données et au système statistique national.

Les dimensions de la qualité en statistique

Des cadres de qualité pour la statistique adoptés au niveau international :

sont utilisés pour évaluer la qualité des données et des procédures utilisées pour leur production ;
prennent en considération toutes les étapes du processus statistique grâce auquel les données sont collectées, transformées et diffusées.

La qualité en statistique se rapporte à la qualité :

de l'organisation globale du processus ;
des données d'entrée ;
des opérations de collecte, de transformation et de diffusion des données ;
des produits (données de sortie).

Exemples et informations pratiques contenus dans le Guide

C.5.3 Le concept de qualité en statistique

Quels sont les éléments indispensables pour produire des statistiques de bonne qualité?

La communauté internationale, par le biais de la Commission de statistique des Nations unies (UNSC), s'est accordée sur dix « Principes fondamentaux de la statistique officielle » auxquels la statistique officielle doit se conformer afin d'informer correctement le public.

Les dix principes fondamentaux de la statistique officielle

Pertinence, impartialité et égalité d'accès - La statistique officielle constitue un élément indispensable du système d'information d'une société démocratique, fournissant aux administrations publiques, au secteur économique et au public des données concernant la situation économique, démographique et sociale et la situation de l'environnement. À cette fin, des organismes responsables de la statistique officielle doivent établir les statistiques officielles selon un critère d'utilisation pratique et les rendre disponibles, en toute impartialité, en vue de rendre effectif le droit d'accès des citoyens à l'information publique.
Professionnalisme - Pour que se maintienne la confiance dans l'information statistique officielle, les organismes responsables de la statistique doivent déterminer, en fonction de considérations purement professionnelles, notamment de principes scientifiques et de règles déontologiques, les méthodes et les procédures de collecte, de traitement, de stockage et de présentation des données statistiques.
Responsabilité - Pour faciliter une interprétation correcte des données, les organismes responsables de la statistique doivent fournir, en fonction de normes scientifiques, des informations sur les sources, les méthodes et les procédures qu'ils utilisent.
Prévention de la mauvaise utilisation - Les organismes responsables de la statistique ont le droit de faire des observations sur les interprétations erronées et les usages abusifs des statistiques.
Rentabilité - Les données utilisées à des fins statistiques peuvent être tirées de toutes sortes de sources, qu'il s'agisse d'enquêtes statistiques ou de fichiers administratifs. Les organismes responsables de la statistique doivent choisir leur source en tenant compte de la qualité des données qu'elle peut fournir, de leur actualité, des coûts et de la charge qui pèse sur les répondants.
Confidentialité - Les données individuelles collectées pour l'établissement des statistiques par les organismes qui en ont la responsabilité, qu'elles concernent des personnes physiques ou des personnes morales, doivent être strictement confidentielles et ne doivent être utilisées qu'à des fins statistiques.
Législation - Les textes législatifs et réglementaires et toutes dispositions régissant le fonctionnement des systèmes statistiques doivent être portés à la connaissance du public.
Coordination nationale – À l'intérieur de chaque pays, il est essentiel que les activités des différents organismes responsables de la statistique soient coordonnées pour assurer la cohérence et l'efficacité du système statistique.
Coordination internationale - L'utilisation par les organismes responsables de la statistique de chaque pays des concepts, classifications et méthodes définis à l'échelon international favorise la cohérence et l'efficacité des systèmes statistiques à tous les niveaux officiels.
Coopération internationale en matière de statistique - La coopération bilatérale et multilatérale dans le domaine de la statistique contribue à l'amélioration des systèmes d'élaboration des statistiques officielles dans tous les pays.

Ces principes fondamentaux constituent le fondement des principes de la statistique officielle adaptés au plan régional.

Focus sur : les instruments régionaux qui adaptent les principes fondamentaux de la statistique officielle de l'UNSC

Eurostat et les autorités statistiques des États membres de l'UE ont adopté le « Code de bonnes pratiques de la statistique européenne ». Cet instrument :

représente l'engagement de l'UE envers des statistiques de grande qualité ;
crée une définition commune au système statistique européen (SSE) de la qualité dans les statistiques ;
vise tous les secteurs concernés de l'environnement institutionnel, les processus de production des statistiques jusqu'à leur diffusion par Eurostat en tant que statistiques officielles européennes.

Eurostat a soutenu l'Union africaine dans l'élaboration de la « Charte africaine de la statistique ». Cet instrument :

a été adopté en 2009 ;
entrera en vigueur lorsqu'un nombre suffisant de pays l'auront ratifiée :
- Le Stratégie de plaidoyer pour la signature et la ratification de la Charte Africaine de la statistique au niveau national constitue une façon de promouvoir la prise de décisions fondées sur des informations factuelles et la sensibilisation à l'importance des statistiques de qualité ;
- Deux brochures d'arguments sont disponibles : Résumé – Charte africaine de la statistique ; La Charte africaine de la statistique en sept questions.

En novembre 2011, la Conférence statistique des Amériques (SCE-CEPALC) a adopté le « Code des bonnes pratiques de la statistique pour l'Amérique latine et les Caraïbes » (en anglais). Son objectif est de constituer un instrument technique et réglementaire visant à contribuer à améliorer les activités et systèmes nationaux de statistique dans cette région.

il est structuré en 17 principes et bonnes pratiques qui s'y rattachent ;
il est inspiré du Code européen de bonnes pratiques de la statistique ;
il traite aussi de questions qui présentent un intérêt particulier pour les systèmes statistiques nationaux dans la région : le principe de la coordination des systèmes statistiques nationaux ainsi que le principe de la coopération et de la participation internationale ;
des critères de respect ont été définis pour chacun des 17 principes ;
un questionnaire d'auto-évaluation a été élaboré en ce qui concerne 10 principes du Code de bonnes pratiques :
- évaluer l'état d'avancement actuel, les points forts, les points faibles et les actions d'amélioration concernant l'environnement institutionnel et la coordination, les processus statistiques et les produits statistiques dans les INS de la région ;
- Les résultats de cette étude sont présentés dans le « Report on strengths, weaknesses and improvement actions found in the self assessment questionnaire measured against the principles of the Regional Code of Practice in Statistics for Latin America and the Caribbean » (Rapport concernant les points forts, les points faibles et les actions d'amélioration constatés dans le questionnaire d’auto-évaluation en fonction des principes du Code des bonnes pratiques de la statistique pour l'Amérique latine et les Caraïbes).

Exemples et informations pratiques contenus dans le Guide

B.2.1 La statistique officielle et ses principes fondamentaux

Focus sur : la Commission de statistique des Nations unies (UNSC)

La Commission de statistique des Nations unies (UNSC) est l'organisme de coordination du système statistique mondial :

elle rassemble les statisticiens en chef des États membres de l'ONU du monde entier;
elle est l'organe décisionnel le plus élevé en matière d'activités statistiques internationales, en particulier en ce qui concerne l'établissement de normes statistiques, l'élaboration de concepts et de méthodes et leur mise en œuvre au niveau national et international ;
elle chapeaute les efforts de la Division de statistique des Nations unies (UNSD) ;
il s'agit d'une commission fonctionnelle du Conseil économique et social des Nations unies.

Comment examiner la qualité en statistique?

D'une façon générale, les outils utilisés pour promouvoir et soutenir la qualité en statistique sont :

des chartes ou d'autres instruments qui définissent les principes de la qualité des statistiques pour une région ;
exigences de qualité dans les législations statistiques nationales ;
engagements nationaux pour la qualité et développement des cadres nationaux de qualité ;
surveillance et rapports réguliers sur la mise en œuvre et le respect de ces cadres de qualité ;
des questionnaires d'évaluation, qu'il s'agisse d'autoévaluations et/ou d'analyses par des pairs.

L'expérience du Système statistique européen

Pour mettre en œuvre le Code de bonnes pratiques de la statistique européenne, le Système statistique européen :

évalue les progrès réalisés dans la mise en œuvre du Code de bonnes pratiques ;
a développé un questionnaire d'autoévaluation (en anglais) ;
effectue systématiquement des examens par des pairs (peer reviews) (en anglais) ;
en 2008, Eurostat a fait un rapport au Parlement européen et au Conseil sur la mise en œuvre du Code de bonnes pratiques dans le système statistique européen (SSE), sur base des résultats des examens conduits par les pairs et sur base des informations complémentaires ;
- les actions d’amélioration définies par les instituts statistiques nationaux et Eurostat sont exposées dans une annexe du rapport ;
chaque année Eurostat contrôle la conformité avec le code de bonnes pratiques dans tout le Système statistique européen
- Les informations récapitulatives sont fournies au Conseil consultatif européen pour la gouvernance statistique (ESGAB) pour son rapport annuel au Parlement européen et au Conseil.

Informations disponibles sur l'expérience de l'UE en ce qui concerne la qualité en statistique :

Eurostat: Definition of quality in statistics (Définition de la qualité en statistique) (2003)
Eurostat: Handbook on Data Quality Assessment Methods and Tools (Guide sur les méthodes et les outils d'évaluation de la qualité des données) (2007)
Pages sur la qualité du site d'Eurostat
Guide, section C.5.3.1 Les principaux concepts de qualité en statistique

Outils internationaux permettant d'évaluer la qualité en statistique

Eurostat est actuellement en train de développer un nouvel outil pour permettre aux délégations de l'UE de créer un « Instantané » des systèmes statistiques nationaux et de leur capacité à :

déterminer les points forts et les points faibles de systèmes statistiques nationaux ;
évaluer leur capacité à produire des données fiables ;
créer une base pour l'ouverture d'un dialogue avec les autorités publiques du pays sur la manière d'améliorer la qualité du système.

Cet outil « Instantané » est composé de 2 modules :

un diagnostic du système statistique national dans son ensemble en se concentrant sur les infrastructures et organisation statistiques ;
une méthode d'évaluation de la qualité des données dans certains secteurs et de la qualité des données des principaux indicateurs du secteur (ceux utilisés dans le cadre d'évaluation des performances).

Eurostat : Le Questionnaire sur les « Instituts nationaux de la statistique » a été élaboré en 2011 afin d'obtenir des informations au sujet des instituts nationaux de la statistique dans les pays d'Afrique, des Caraïbes et du Pacifique (pays ACP) :

repose sur les informations disponibles dans le Manuel d'organisation statistique des Nations unies ;
repose aussi sur un ancien questionnaire pilote élaboré pour les pays d'Asie et d'Amérique latine (pays ALA) ;
a été testé auprès des pays PALOP (les pays lusophones d'Afrique);

Le questionnaire éxamine et documente huit questions centrales :

informations générales concernant l'institut national de la statistique ;
budget et financement de l'institut national de la statistique ;
activités de l'institut national de la statistique ;
le système statistique national ;
diffusion des statistiques officielles ;
la Stratégie nationale de développement de la statistique (SNDS) ;
futurs projets et expertise de l'institut national de la statistique ;
commentaires et suggestions de l'institut national de la statistique.

Fonds monétaire international : Système général de diffusion des données (SGDD) (en anglais)

est un cadre de travail destiné à renforcer les systèmes statistiques nationaux pour produire des données économiques et sociodémographiques ;
offre aux pays une approche de gestion qui encourage une bonne méthodologie statistique et des pratiques professionnelles de compilation et de diffusion des données ;
décèle les problèmes relatifs à la qualité des données et dresse l'inventaire des besoins en termes d'assistance, guide les utilisateurs du SGDD (notamment les décideurs politiques et les donateurs) sur la façon d'aborder ces problèmes ;
fait office d'instrument permettant aux pays d'évoluer et d'atteindre progressivement la Norme spéciale de diffusion des données (NSDD) (en anglais).
- Fiche technique consacrée au SGDD (en anglais)

Fonds monétaire international : Cadre d’évaluation de la qualité des données (CEQD)

identifie les caractéristiques liées à la qualité de la gouvernance des systèmes, processus et produits statistiques ;
est issu des principes fondamentaux de statistique officielle des Nations unies et a été développé dans le cadre de la Norme spéciale de diffusion des données (NSDD) et du Système général de diffusion des données (SGDD), les initiatives du FMI dans le domaine de la diffusion des données.
- Fiche technique consacrée au CEQD.

Organisation de coopération et de développement économiques : Cadre de qualité des activités statistiques de l'OCDE (en anglais)

Organisation internationale de normalisation : La norme ISO 9000 – Management de la qualité

Exemples et informations pratiques contenus dans le Guide

C.5.2.3 Méthodologies d’évaluation
Encadré 5.4 Un nouvel outil pour permettre aux délégations de l'UE de créer un « Instantané » des systèmes statistiques nationaux et de leurs capacités
Encadré 5.5 Questionnaire d'Eurostat adressé aux instituts nationaux de la statistique des pays d'Afrique, des Caraïbes et du Pacifique
Encadré 5.6 Étude de cas: Évaluation des systèmes statistiques en Asie centrale
Encadré 5.7 Rapports sur la situation statistique nationale dans le cadre du programme MEDSTAT
Encadré 5.9 Le système général de diffusion des données (SGDD)
Encadré 5.1: Le cadre d’évaluation de la qualité des données (CEQD)