Évaluation de la qualité des données

Pourquoi une évaluation de la qualité des données est-elle nécessaire dans le cadre de la PNIN ?

L’initiative PNIN utilise des données existantes. Par conséquent, les données ont probablement déjà été validées par une institution nationale après avoir été soumises à un processus de contrôle de la qualité des données. Par exemple, les enquêtes démographiques et sanitaires sont généralement validées par l’Office national des statistiques et les organisations internationales (https://data.unicef.org/resources/jme).

Alors, pourquoi la PNIN devrait-elle examiner la qualité des données de ces jeux de données ?

1) Premièrement, lors de l’analyse des données secondaires, il est obligatoire de porter un œil critique sur la qualité des données avant de les utiliser. Il est important de savoir si les données conviennent à l’analyse envisagée :

• Quel est le protocole de l’étude ?
• Comment les données ont-elles été collectées ?
• Quel processus de qualité des données a été effectivement suivi ?
• Quelles sont les conclusions du rapport sur la qualité des données joint au jeu de données ?

2) Deuxièmement, les données ont probablement été collectées pour un objectif spécifique d’analyse des données qui peut être différent de l’objectif d’analyse des données de la PNIN. Par conséquent, pour atteindre l’objectif de la PNIN, un niveau de qualité des données différent peut être nécessaire.

La « qualité des données » n’est ni « bonne » ni « mauvaise » : elle doit être « adéquate » pour l’analyse envisagée

Champ d’application de cette note d’orientation sur la qualité des données

Afin de produire des données de qualité acceptable, il est nécessaire de s’assurer que les étapes clés du processus de collecte des données respectent un protocole bien établi. Ces étapes clés sont les suivantes :

• élaboration des instruments de collecte des données ;
• formation des enquêteurs ;
• échantillonnage ;
• collecte des données ;
• saisie des données ;
• nettoyage des données ;
• tests de qualité des données.

Dans le cadre de la PNIN, les données ont déjà été collectées, saisies et nettoyées.

Lorsqu’il est question d’« évaluer la qualité des données » dans ces notes d’orientation, nous nous référons en particulier aux tests de qualité des données qui peuvent être effectués sur les jeux de données nettoyés.

Lors de l’analyse des données secondaires, il est important de connaître le protocole et le processus qui ont été effectivement mis en œuvre pour assurer la qualité des données collectées. En particulier, les tests de qualité des données qui ont été effectués sont normalement compilés dans un rapport distinct. Dans ces notes d’orientation, nous décrivons les principaux tests de qualité des données.

Il n’y a pas de seuil pour la « qualité des données ». Certaines méthodes proposent un « score global » pour la qualité des données qui fournit une indication globale, mais ce score ne doit pas être utilisé comme un seuil standard. C’est en dernier ressort la responsabilité de l’équipe des données de la PNIN de décider si la qualité des données est suffisante pour l’analyse prévue. Les tests décrits dans ces notes d’orientation seront essentiels pour éclairer cette décision.

Étant donné le rôle d’influence des décisions politiques de la PNIN, il est fortement recommandé d’adopter une approche conservatrice en matière de qualité des données afin d’éviter les critiques qui pourraient nuire à la réputation de la PNIN.

Les principales sources d’information de la PNIN sont :

• Les « données d’enquêtes basées sur la population », qui sont collectées lors d’enquêtes transversales conçues pour être représentatives de la population étudiée (ex : population nationale ; population infranationale) ;
• Les « données de routine », qui font référence à des informations systématiques collectées régulièrement, généralement auprès des centres de santé (ex : registres des maladies ; naissances et décès).

Les données d’enquête basées sur la population et les données de routine ont un but, un protocole et une structure très différents. Par conséquent, l’évaluation de la qualité des données sera très différente selon la source des données.

La présente note d’orientation fournit des détails pour les enquêtes basées sur la population (pages 3 à 5) et pour les données de routine (à partir de la page 6).

Comment évaluer la qualité des données provenant des enquêtes basées sur la population ?

Les enquêtes basées sur la population sont sujettes à deux types d’erreurs principaux :

Programme de formation sur la qualité des données d’enquête (1/2)

Ce programme comprend tout le matériel nécessaire pour faciliter la formation : présentations, exemples, guide de l’animateur, exercices pratiques et solutions, parties de jeux de données réels. Le programme est entièrement aligné sur les récentes recommandations de l’UNICEF/l’OMS (1).

Les 3 jours sont organisés comme suit :

• JOUR 1 : Méthodes d’enquête, mesures anthropométriques.
• JOUR 2 : Effectuer des tests de qualité des données, comment lire un rapport d’évaluation de la qualité des données.
• JOUR 3 : Prendre une décision sur le niveau de qualité des données requis pour votre analyse.

Le programme est destiné à être utilisé par les assistants techniques nationaux afin de faciliter la formation de l’équipe PNIN et de ses partenaires le cas échéant.

Il est à noter que le programme est particulièrement axé sur les mesures anthropométriques, bien que certains tests puissent également être appliqués à d’autres variables continues.

Les formateurs sont encouragés à :

1. télécharger le matériel pédagogique du programme de 3 jours fourni à la page suivante ;
2. télécharger le guide de l’animateur en format Word,
3. visionner le webinaire d’introduction au programme de formation ;
4. discuter avec les équipes PNIN et décider si la formation est pertinente ;
5. adapter la formation, le cas échéant, et faciliter.

Afin de soutenir les tests de qualité des données discutés dans le programme de formation, un package de tests statistiques a été développé dans le logiciel R : nipnTK.r
Ce package comprend des fonctions intégrées pour générer des z-scores et effectuer des tests de qualité des données. Il est recommandé pour les utilisateurs qui ont déjà une connaissance de base du logiciel R.
Un guide de l’utilisateur « R » est également disponible afin d’effectuer facilement les tests mentionnés dans le programme de formation.

Référence :

1. Recommendations for data collection, analysis and reporting on anthropometric indicators in children under 5 years old. Genève : OMS et UNICEF, 2019. Licence : CC BY-NC-SA 3.0 IGO.

Programme de formation sur la qualité des données d’enquête

Day1/Jour1

Presentations

• Session 1 : Intro to day 1 (download PPT)
• Session 3 : Nutrition overview (download PPT)
• Session 4 : Nutrition surveys (download PPT)
• Session 5 : Survey procedures (download PPT)
• Session 6 : Wrap-up day 1 (download PPT)

Additional material

• Download additional material for day 1 package (ZIP file)

Exercices

• Download exercises for day 1 package (ZIP file)

Day2/Jour2

Presentations

• Session 1 : Intro to day 2 (download PPT EN) / (Télécharger PPT FR)
• Session 2 : Data quality checks (dowload PPT EN) / (Télécharger PPT FR)
• Session 3 : Survey data quality (download PPT EN) / (Télécharger PPT FR)
• Session 4 : Anthropometry data quality basics (download PPT EN) / (Télécharger PPT FR)
• Session 5 : Anthropometry data quality advanced (download PPT EN) / (Télécharger PPT FR)
• Session 6 : Wrap-up day 2 (download PPT EN) / (Télécharger PPT FR)

Additional material/matériel supplémentaire

• Download additional material for day 2 package in English (ZIP file)
• Télécharger le matériel supplémentaire pour le jour 2 en français (fichier ZIP)

Exercices

• Download exercises for day 2 package in english (ZIP file)
• Télécharger les exercices pour le jour 2 en français (fichier ZIP)

Day3/Jour3

Presentations

• Session 1 : Introduction to day 3 (download PPT EN) / (Télécharger PPT FR)
• Session 2 : Data checks debates (download PPT EN) / (Télécharger PPT FR)
• Session 3 : Interpreting a report (download PPT EN) / (Télécharger PPT FR)
• Session 4 : Making a decision tree (download PPT EN) / (Télécharger PPT FR)
• Session 5 : Take home exercise (donwload PPT EN) / (Télécharger PPT FR)

Exercices

• Download exercises for day 3 package in English (ZIP file)
• Télécharger les exercices pour le jour 3 en français (fichier ZIP)

Annexes

• Download Annexes package (ZIP file)
• Download package for ’R’ software (ZIP file)

Assurance de la qualité des données de routine (1/10)

1. Justification

La Plateforme nationale d’information pour la nutrition (PNIN) valorise les données existantes provenant de diverses sources afin de répondre aux questions de politique en matière de nutrition et de fournir des indications aux décideurs.

Pourquoi utiliser des données de routine au cours de ce processus ? Les enquêtes sont coûteuses alors que les données de routine ne le sont pas, les enquêtes sont effectuées tous les 3 à 5 ans alors que les données de routine sont collectées plus régulièrement et fournissent par conséquent des informations récentes. En outre, à l’heure actuelle, de nombreux pays disposent de systèmes de collecte de données de routine qui fonctionnent bien et utilisent de plus en plus une plateforme électronique.

De plus, les données de routine permettent des analyses standardisées à tous les niveaux géographiques, comme le niveau des districts (1). Dans chaque pays PNIN, la qualité des données de routine est évaluée à l’aide d’un ou plusieurs outils (DQR, RDQA, etc.).

L’idéal serait d’utiliser des données provenant de tous les secteurs qui contribuent à la nutrition. Toutefois, les données du système d’information sanitaire de routine (SISR) font partie des données les mieux organisées et les plus accessibles, ce qui n’est pas le cas pour d’autres secteurs. Il semble crucial d’accorder une importance particulière aux données du système d’information pour la gestion sanitaire (HMIS) et à leur qualité dans la PNIN.

L’objectif principal de ce guide est de s’assurer qu’une démarche qualité standardisée est utilisée pour vérifier la qualité des données de routine, en accord avec les objectifs et les valeurs de la PNIN. En outre, l’utilisation d’un outil publié pour évaluer les données de routine dans le cycle opérationnel de la PNIN pourrait de facto être une valeur ajoutée pour la durabilité de l’approche PNIN.

Référence :
(1) Cesar G Victora, Robert Black, J Ties Boerma, Jennifer Bryce, 2011. Measuring impact in the Millennium Development Goal era and beyond : a new approach to large-scale effectiveness evaluations. Lancet, 377:85-95.

Assurance de la qualité des données de routine (2/10)

2. Pourquoi évaluer la qualité des données de routine ?

Bien que les données de routine soient des données administratives dépendant de la finalité de leur utilisation, il est nécessaire d’évaluer leur qualité et d’identifier les faiblesses ou les domaines à améliorer.

La décision de savoir si les données sont suffisamment bonnes pour être utilisées dépendra du type d’analyse (par exemple, analyse spécifique, amélioration continue de la qualité, etc.).

La plupart des pays disposent déjà de processus d’évaluation de la qualité des données de routine, qui sont généralement axés sur des indicateurs de base qui n’incluent pas nécessairement des données nutritionnelles.

Il pourrait être utile, voire essentiel, d’examiner si les données déjà validées au niveau national sont suffisamment bonnes pour l’analyse prévue afin de s’assurer que la qualité des données est en cohérence avec les besoins de l’analyse PNIN.

La plupart des outils existants, tels que la boîte à outils de l’OMS pour l’examen de la qualité des données (DQR), se concentrent sur les indicateurs de base des programmes ou des projets (par exemple, les indicateurs de vaccination, de soins prénatals, de tuberculose, de VIH et de malaria). Les indicateurs nutritionnels ne sont souvent pas inclus dans les évaluations régulières de la qualité effectuées dans les pays.

Les Plateformes nationales d’information peuvent apporter une valeur ajoutée en recommandant l’intégration des indicateurs nutritionnels dans le processus d’évaluation de la qualité des données au sein du HMIS.

Enfin, des conseils sur le choix d’un outil d’évaluation de la qualité et sur la façon de l’utiliser peuvent faciliter l’apprentissage et la comparaison entre pays, fournissant ainsi une norme de qualité unique.

Assurance de la qualité des données de routine (3/10)

3. Qu’est-ce qui influence la qualité des données de routine ?

a) Remarques générales

Il est important d’évaluer la couverture du HMIS (dans notre cas pour les indicateurs nutritionnels). Si la couverture est faible, les données nutritionnelles du HMIS seront probablement biaisées et donc inutiles.

Les problèmes de qualité des données de routine sont semblables pour la plupart des indicateurs. Comme le montre la figure ci-dessous, les principaux problèmes sont liés à l’exactitude et à l’exhaustivité du numérateur (1 et 2) ainsi qu’à la méthode d’estimation et à l’exactitude du dénominateur (3).

Source : Countdown to 2030 for Women’s, Children’s and Adolescents’ Health - Présentation lors de l’atelier d’analyse des données des établissements de santé pour les indicateurs clés de performance du système de santé, mai 2019.

La qualité des données est influencée pendant et après la collecte des données. Trois facteurs fondamentaux influent sur la qualité des données (Measure Evaluation) des résultats au niveau des programmes lorsqu’ils sont comparés dans le temps :

1. Instrumentation – L’instrumentation fait référence à la façon dont les données sont collectées. Les méthodes utilisées pour collecter et compiler les résultats au cours d’une période de notification peuvent ne pas être les mêmes que celles utilisées pour collecter et compiler les résultats au cours de la période de notification suivante. En raison de ce « biais de mesure », les deux ensembles de résultats peuvent ne pas être directement comparables (par exemple, les balances ne sont pas du même type ou ne sont pas calibrées correctement).
2. Programmatique – Les résultats d’une période de notification peuvent sembler incohérents par rapport aux résultats équivalents d’une autre période de notification en raison de changements réels dans la mise en œuvre du programme et de l’augmentation ou de la diminution de l’activité du programme (par exemple, l’extension des sessions de promotion de l’allaitement maternel au centre de santé, afin d’inclure les visites à domicile dans la période de notification suivante, ou l’établissement peut être fermé parce que l’infirmière s’est absentée pour suivre une formation ou pour obtenir des médicaments à la pharmacie du district, etc.).
3. Mesure – Des changements dans les définitions des indicateurs pourraient avoir pour résultat que les résultats au niveau des programmes soient mesurés de différentes façons d’une période à l’autre. Dans ce cas, les résultats d’une période de notification ne seraient pas nécessairement directement comparables à ceux d’une autre période de notification. Cela pourrait également être lié à la qualité (de la formation) des agents recenseurs.

Assurance de la qualité des données de routine (4/10)

b) Cadre de la qualité des données de routine et systèmes de données de routine existants

Les activités d’un projet/programme sont exécutées et surveillées sur les lieux de livraison afin de quantifier les progrès ou les efforts en utilisant un certain indicateur.

Selon le guide de l’animateur pour la formation des formateurs HMIS (Measure Evaluation) « un indicateur est une variable qui décrit une situation donnée et permet ainsi de mesurer les changements dans le temps. Il transforme l’information brute en une forme plus adaptée à la prise de décision ».

La figure ci-dessous fournit un cadre schématique concernant la façon d’évaluer la qualité des données de routine à l’aide de 6 dimensions.

Source : Measure Evaluation

Parmi les systèmes de données de routine existants (cliquer sur le lien au bas de la page pour plus de détails), certains semblent mieux adaptés à l’objectif des Plateformes nationales d’information pour la nutrition : le système d’information pour la gestion sanitaire (HMIS) – le mieux adapté, la surveillance intégrée de la maladie et réponse (SIMR), la surveillance sentinelle, et d’autres systèmes de données sectoriels, les moins bien organisés de tous.

Les données de surveillance sentinelle font également partie des données de routine. Un système de surveillance sentinelle peut être utilisé pour collecter des données sur la nutrition. Contrairement à la surveillance basée sur la population, la surveillance sentinelle offre une plus grande souplesse de conception en fonction des exigences de participation des divers partenaires du réseau.

Un ministère de tutelle (comme la santé, l’agriculture, l’éducation) qui met en œuvre des interventions sensibles à la nutrition aura ses propres processus et système de collecte de données. Dans de nombreux cas, le HMIS est mieux organisé et systématisé que le système d’information d’autres secteurs.

Cependant, ces systèmes de données de routine n’intègrent pas encore suffisamment les indicateurs nutritionnels. La PNIN et les autres partenaires de la nutrition devraient prôner l’intégration d’un plus grand nombre d’indicateurs nutritionnels, tant dans les systèmes d’information à court terme, les systèmes de surveillance sentinelle pendant les urgences, que dans les systèmes d’information permanents et continus tels que le HMIS.

Assurance de la qualité des données de routine (5/10)

4. Comment mesurer des données de bonne qualité et que recommander pour l’utilisation par la PNIN ?

a) Remarques générales

La plupart des outils d’évaluation de la qualité des données de routine font une distinction entre les différents types de qualité des données, qui sont appelés domaines, dimensions ou attributs :

• L’outil DQR de l’OMS utilise des domaines et des paramètres pour évaluer la qualité des données de routine.
• L’outil « Measure Evaluation » utilise les dimensions pour ce qui est appelé paramètres dans l’outil DQR de l’OMS.
• Chen et al., 2014 (1) les ont nommés attributs.

Toutes ces dénominations désignent plus ou moins la même chose. Hong Chen et al. ont conclu dans leur analyse que l’exhaustivité, l’exactitude et la ponctualité étaient les trois dimensions les plus évaluées de la qualité des données, mais ils ont identifié plus de 30 dimensions (voir liste ci-dessous) .

Source :
(1) Chen Hong, Hailey David, Wang Ning, Yu Ping, 2014. A Review of Data Quality Assessment Methods for Public Health Information Systems. International journal of environmental research and public health, 11, 5170-5207, 10.3390/ijerph110505170.

Assurance de la qualité des données de routine (6/10)

b) Choix de l’outil

Un certain nombre d’outils d’évaluation de la qualité des données de routine sont utilisés dans les pays pour l’évaluation de routine de la qualité des données ou pendant les activités de supervision sur le terrain. Les forces et les faiblesses des principaux outils sont résumées dans le lien ci-dessous.

Un questionnaire adressé aux pays PNIN a révélé que presque tous les pays utilisent le DQR de l’OMS pour évaluer la qualité des données de routine. Le DQR de l’OMS est utilisé en tant que partie du DHIS2 ou séparément comme feuille Excel pour évaluer la qualité des données de routine en utilisant un indicateur de suivi.

Afin de soutenir l’évaluation de la qualité des données de routine par les équipes-pays PNIN, la présente note recommande l’utilisation du DQR de l’OMS (format intégré dans DHIS2 ou feuille Excel) pour évaluer les indicateurs nutritionnels des systèmes de données de routine.

Assurance de la qualité des données de routine (7/10)

b) Introduction rapide à l’examen de la qualité des données (DQR) de l’OMS 2017

Le DQR est un outil d’analyse basé sur Excel qui calcule des paramètres de qualité des données standards pour des indicateurs sélectionnés. Il examine la qualité des données générées par un système d’information basé sur les établissements de santé pour un maximum de six indicateurs de suivi provenant des domaines du programme. En plus des domaines du programme utilisés à titre d’illustration dans l’outil, le DQR peut également être utilisé pour évaluer d’autres indicateurs de domaines du programme, comme la nutrition, en entrant les renseignements appropriés sur les données (indicateur) à évaluer.

Grâce à l’analyse des six indicateurs de suivi, l’outil quantifie les problèmes d’exhaustivité, d’exactitude et de cohérence externe des données et fournit ainsi des informations précieuses sur la mesure dans laquelle les données sont « adaptées » à l’appui de la planification et du suivi annuel (site Web DQR).

Tous les exemples ci-dessous sont tirés de la boîte à outils de l’OMS pour l’examen de la qualité des données.

Assurance de la qualité des données de routine (8/10)

5. Autres considérations importantes pour la PNIN