Normes du SSE pour la transmission des métadonnées de référence

Le lecteur trouvera ci-dessous une introduction générale aux normes du système statistique européen (SSE) pour décrire les jeux de données diffusés sur le site web d'Eurostat, tant en termes de contenu que de qualité. Ce type spécifique d'informations est appelé métadonnées de référence.

Les premières sections ci-dessous expliquent les différences entre les métadonnées structurelles et les métadonnées de référence et décrivent les différentes structures utilisées pour la transmission des métadonnées au sein du SSE. Ensuite la plate-forme informatique développée par Eurostat pour le stockage et la diffusion des métadonnées du SSE est présentée.

Métadonnées structurelles et de référence

Deux types de métadonnées statistiques peuvent être distinguées: les métadonnées structurelles et les métadonnées de référence.

Les métadonnées structurelles sont utilisées pour identifier les données statistiques (par exemple titres, sous-titres, descriptions courtes, noms de dimensions, noms de variables, dimensions, etc.).

Les métadonnées structurelles incluent notamment les intitulés des variables et dimensions des jeux de données statistiques, ainsi que les unités de mesure utilisées (par exemple EUR), les listes de codes (par exemple pour le codage territorial), les formats de données, la liste des attributs (« flags »), les classifications utilisées, etc.

Les métadonnées et données et structurelles sont INDISSOCIABLES. Un nombre tel que 3 651 881 ne signifie rien sans métadonnées structurelles, à savoir que l’on parle ici de la population féminine totale de la Bulgarie au 1er janvier 2017.

Les métadonnées de référence décrivent les concepts et méthodologies utilisés pour la collecte et la compilation des données, et fournissent des informations sur la qualité des données.

Elles ont pour but d’aider les utilisateurs dans l'interprétation des données, dès lors qu’elles sont fortement orientées sur le contenu.

Contrairement aux métadonnées structurelles, les métadonnées de référence peuvent être découplées des données, c'est-à-dire qu'elles peuvent être générées, collectées ou diffusées séparément des statistiques auxquelles elles se réfèrent.

Elles peuvent également être associées à différents niveaux de données: collections entières, jeux de données d'un pays donné, ou tranche de données concernant un pays et une année.

Illustration

Principaux standards applicables aux métadonnées de référence

Les principaux standards applicables aux métadonnées de référence du SSE sont les suivants:

Structure intégrée unique pour métadonnées (SIMS)

SIMS est l'inventaire dynamique et le cadre théorique pour tous les concepts se rapportant à la qualité et aux métadonnées de référence du SSE.

Dans cette structure, tous les concepts statistiques des deux structures de transmission existantes (ESMS et ESQRS - voir ci-dessous) ont été inclus et rationalisés, en veillant à ce que tous les concepts n’apparaissent et ne soient donc transmis qu'une seule fois (réutilisation directe des informations existantes).

Dynamique signifie que de nouvelles métadonnées et de nouveaux concepts de qualité peuvent, si nécessaire, être intégrés à l'avenir.

Le PDF icon premier manuel SIMS (EN) a été publié en 2014, avec une PDF icon révision en 2016.

La qualité est primordiale dans le monde de la statistique et la mise en œuvre de SIMS participe pleinement à cet objectif.

D’une part, les producteurs de statistiques officielles doivent fournir l’assurance que les statistiques européennes sont élaborées, produites et diffusées sur la base de normes uniformes et de méthodes harmonisées.

D’autre part, les utilisateurs de statistiques doivent avoir accès à des métadonnées décrivant la qualité des résultats statistiques, ceci afin de leur permettre d'interpréter et d'utiliser correctement les statistiques.

Structure Euro SDMX pour métadonnées (ESMS)

Les fichiers ESMS sont des fichiers normalisés, axés sur l’utilisateur, qui décrivent les jeux de données publiés par Eurostat sur son site internet.

L'objectif des fichiers ESMS est de documenter la méthodologie, la qualité et les processus de production statistique en général.

Comme leur nom l'indique, les fichiers ESMS sont basés sur le standard SDMX. Les 19 grands concepts sont dérivés des concepts SDMX inter-domaines publiés dans le Word icon glossaire SDMX.

La norme ESMS est également de plus en plus utilisée pour la transmission à Eurostat des métadonnées de référence nationales.

On trouvera ci-dessous un exemple de page présentant conjointement les métadonnées de référence d'Eurostat et les métadonnées nationales correspondantes.

Structure Euro SDMX pour métadonnées - Profil d'indicateur (ESMS-IP)

L’ Excel icon ESMS-IP fournit des métadonnées de référence standardisées pour les indicateurs.

L'ESMS-IP est basée sur la structure Euro SDMX pour métadonnées (ESMS). Elle contient en outre un bref PDF icon «encadré de qualité» dans sa partie supérieure, qui décrit succinctement les principales caractéristiques qualitatives de l’indicateur concerné.

Elle donne des orientations sur l'utilisation et l'analyse de l'indicateur et contribue à faciliter la sélection de tout nouvel ensemble d'indicateurs.

Les ESMS-IP sont notamment utilisés pour documenter la qualité des Indicateurs Europe 2020 et des indicateurs de développement durable. [après avoir ouvert la page se rapportant à un indicateur spécifique, par exemple: «Pas de pauvreté», aller en bas de page et cliquer sur metadata icon l'icône pour voir les ESMS-IPs].

Structure standardisée pour les rapports de qualité du SSE (ESQRS)

L’ESQRS est la norme pour la production et la diffusion de rapports de qualité au sein du SSE.

Les fichiers ESQRS fournissent aux utilisateurs des informations détaillées leur permettant d’évaluer la qualité des jeux de données publiés par Eurostat.

Les grands concepts utilisés sont compatibles avec les concepts SDMX interdomaines et la terminologie générale publiée dans le glossaire SDMX (2016).

Ce standard est également de plus en plus utilisé pour les rapports de qualité nationaux.

Comment accéder aux fichiers ESMS et ESQRS

Les fichiers ESMS et ESQRS sont diffusés via la base de données d'Eurostat. Ils sont attachés soit à des jeux de données individuels soit, plus généralement, à des collections de jeux de données (du fait de la similarité des données publiées). Ces fichiers sont indiqués à l'aide de l'icône metadata icon.

L'image ci-dessous montre des exemples de fichiers de métadonnées de référence joints à des jeux de données ou à des collections de jeux de données dans Eurobase, la base de données de diffusion d'Eurostat.

Example of reference metadata files in the data navigation tree

Gestionnaire de métadonnées du système statistique européen
   (ESS MH)

ESS MH est l'application web développée par Eurostat pour soutenir la production, la gestion, l'échange et la diffusion des métadonnées de référence européennes et nationales basées sur les normes susmentionnées.

Le diagramme ci-dessous présente de façon très schématisée le processus de transmission des métadonnées de référence conformes à la norme SDMX de même que l'utilisation du gestionnaire de métadonnées du SSE.

Diagram

(Edamis est le point d’entrée unique pour toutes les données et métadonnées qui parviennent à Eurostat)

Pour de plus amples informations sur cette application, voir la page dédiée à l'ESS-MH.

Informations complémentaires