Evaluación de calidad de datos

¿Por qué es necesario realizar una evaluación de la calidad de los datos en la PNIN?

La PNIN emplea datos existentes. Es probable que una institución nacional ya haya validado estos datos existentes después de haber realizado un proceso de control de calidad de los datos. Por ejemplo, la Oficina Nacional de Estadística y las organizaciones internacionales, por lo general, validan las Encuestas Demográficas y de Salud (https://data.unicef.org/resources/jme).

Entonces, ¿por qué la PNIN debería revisar la calidad de estos conjuntos de datos?

1) En primer lugar, cuando se lleva a cabo un análisis secundario de datos, es obligatorio tener una mirada crítica en la calidad de los datos antes de usarlos. Es importante saber si los datos son adecuados para el análisis previsto:

• ¿Cuál fue el diseño del estudio?
• ¿Cómo se recopilaron los datos?
• ¿Qué proceso de calidad de los datos se implementó?
• ¿Cuáles son las conclusiones del informe de calidad de los datos que se adjuntó al conjunto de datos?

2) En segundo lugar, los datos quizás se recopilaron para un objetivo de análisis de datos específico que puede ser diferente del objetivo de análisis de datos de la PNIN. Por consiguiente, para alcanzar el objetivo de la PNIN, puede ser que se necesite un nivel diferente de calidad de los datos.

La “calidad de los datos” no es ni “buena” ni “mala”: debe ser “adecuada” para el análisis previsto

Alcance de esta nota orientativa sobre la calidad de los datos

Para generar datos de calidad aceptable, es necesario asegurar que los pasos principales del proceso de recopilación de datos respeten un protocolo bien diseñado. Los pasos principales son los siguientes:

• elaboración de los instrumentos de recopilación de datos,
• capacitación de los encuestadores,
• muestreo,
• recopilación de los datos,
• ingreso de los datos,
• depuración de los datos,
• pruebas de calidad de los datos.

En el contexto de la PNIN, los datos ya se recopilaron, ingresaron y depuraron.

Cuando en estas notas orientativas se hace mención a la “evaluación de la calidad de los datos”, nos referimos específicamente a las pruebas de calidad de los datos que se pueden llevar a cabo en los conjuntos de datos depurados.

Cuando se realiza un análisis secundario de datos, es importante conocer el protocolo y el proceso que se aplicaron para garantizar la calidad de los datos recopilados. En particular, las pruebas de calidad de los datos efectuadas, por lo general, se compilan en un informe separado. En estas notas orientativas, describimos las principales pruebas de calidad de los datos.

No existe ningún umbral para la "calidad de los datos". Algunos métodos proponen una "puntuación mundial" para la calidad de los datos que proporciona una indicación general, pero esta puntuación no se debería utilizar como un umbral estándar. En última instancia, el equipo de datos es responsable de decidir si la calidad de los datos reúne los requisitos necesarios para el análisis planificado. Las pruebas descritas en estas notas orientativas serán clave para orientar esta decisión.

Dada la función de las plataformas de información para influir en las decisiones de política, es muy recomendable adoptar un enfoque conservador de calidad de los datos para evitar las críticas que podrían perjudicar la reputación de la plataforma.

Las principales fuentes de información de la PNIN son las siguientes:

• Los “datos de las encuestas de población” se recopilan en encuestas transversales diseñadas para que sean representativas de la población estudiada (p. ej., población nacional o del distrito).
• Los “datos rutinarios” se refieren a información que se recopila de manera sistemática y habitual, por lo general, procedente de los centros de salud (p. ej., registros de enfermedades, nacimiento y defunción).

Los datos de las encuestas de población y los datos rutinarios tienen un propósito, protocolo y estructura muy diferentes. Por consiguiente, evaluar la calidad de los datos puede ser muy diferente en función de la fuente de datos.

Esta nota orientativa proporciona detalles tanto de las encuestas de población (páginas 3 a 5) como de los datos recopilados de manera rutinaria (página 6 en adelante).

¿Cómo se evalúa la calidad de los datos de las encuestas de población?

Las encuestas de población son propensas a tener 2 tipos de errores principales:

Programa de capacitación sobre la calidad de los datos de las encuestas (1/2)

Este programa incluye todos los materiales necesarios para llevar a cabo la capacitación: presentaciones, ejemplos, guía para facilitadores, ejercicios prácticos y sus soluciones, y partes de los conjuntos de datos reales. Este programa cumple con todas las recomendaciones recientes de la OMS y UNICEF (1).

La capacitación de 3 días está organizada de la siguiente manera:

• DÍA 1: métodos de encuesta, medidas antropométricas.
• DÍA 2: realización de pruebas de calidad de los datos, interpretación de un informe de evaluación de la calidad de los datos.
• DÍA 3: toma de decisiones sobre el nivel de calidad de los datos requerido para el análisis previsto.

El programa está concebido para que lo utilicen los asistentes técnicos, que ayudan a los equipos de datos de la PNIN, para facilitar cuando corresponda la capacitación del equipo de la PNIN y sus asociados.

Tenga en cuenta que el programa se centra, en especial, en las medidas antropométricas, aunque también se pueden efectuar determinadas pruebas con otras variables.

Se alienta a los capacitadores a hacer lo siguiente:

1. descargar los materiales del programa de 3 días suministrados en la siguiente página;
2. descargar el archivo de Word Guía para facilitadores;
3. mirar el seminario web donde se presenta el programa de capacitación;
4. hablar con los equipos de datos de la PNIN para decidir si la capacitación es relevante;
5. adaptar la capacitación, en caso necesario, e impartirla.

Para respaldar las pruebas de calidad de los datos mencionadas en el programa de capacitación, se desarrolló un paquete de pruebas estadísticas con el software R: nipnTK.r
Este paquete incluye funciones incorporadas para generar la puntuación Z y hacer otras pruebas de calidad de los datos. Se recomienda que los usuarios posean un conocimiento básico del software R.
Asimismo, se ofrece una guía del usuario del software R para facilitar la realización de las pruebas detalladas en el programa de capacitación.

Referencia:

1. Recommendations for data collection, analysis and reporting on anthropometric indicators in children under 5 years old. Ginebra: Organización Mundial de la Salud y Fondo de las Naciones Unidas para la Infancia (UNICEF), 2019. Licencia: CC BY-NC-SA 3.0 IGO.

Programa de capacitación sobre la calidad de los datos de las encuestas (2/2)

Day1/Jour1

Presentations

• Session 1: Introduction to day 1 (download PPT)
• Session 3: Nutrition overview (download PPT)
• Session 4: Nutrition surveys (download PPT)
• Session 5: Survey procedures (download PPT)
• Session 6: Wrap-up day 1 (download PPT)

Additional material

• Download additional material for day 1 package (ZIP file)

Exercices

• Download exercises for day 1 package (ZIP file)

Day2/Jour2

Presentations

• Session 1: Introduction to day 2 (download PPT EN) / (Télécharger PPT FR)
• Session 2: Data quality checks (download PPT EN) / (Télécharger PPT FR)
• Session 3: Survey data quality (download PPT EN) / (Télécharger PPT FR)
• Session 4: Anthropometry data quality - basics (download PPT EN) / (Télécharger PPT FR)
• Session 5: Anthropometry data quality - advanced (download PPT EN) / (Télécharger PPT FR)
• Session 6: Wrap-up day 2 (download PPT EN) / (Télécharger PPT FR)

Additional material/matériel supplémentaire

• Download additional material for day 2 in English (ZIP file)
• Télécharger le matériel supplémentaire pour le jour 2 en français (fichier ZIP)

Exercices

• Download exercises for day 2 in English (ZIP file)
• Télécharger les exercices pour le jour 2 en français (fichier ZIP)

Day3/Jour3

Presentations

• Session 1: Introduction to day 3 (download PPT EN) / (Télécharger PPT FR)
• Session 2: Data checks debates (download PPT EN) / (Télécharger PPT FR)
• Session 3: Interpreting a report (download PPT EN) / (Télécharger PPT FR)
• Session 4: Making a decision tree (download PPT EN) / (Télécharger PPT FR)
• Session 5: Take-home exercise (download PPT EN) / (Télécharger PPT FR)

Exercices

• Download exercises for day 3 in English (ZIP file)
• Télécharger les exercices pour le jour 3 en français (fichier ZIP)

Annexes

• Download Annexes (ZIP file)
• Download package for ’R’ software (ZIP file)

Control de calidad de los datos rutinarios (1/10)

1. Justificación

La Plataforma Nacional de Información sobre Nutrición (PNIN) evalúa los datos existentes de diversas fuentes para abordar las preguntas relevantes sobre políticas de nutrición y brindar pruebas a los tomadores de decisiones.

¿Por qué se deben emplear los datos rutinarios en este proceso? A diferencia de los datos rutinarios, las encuestas son costosas y se realizan cada 3 y 5 años, mientras que los datos rutinarios se recopilan con más regularidad y, por ende, aportan información reciente. Además, en la actualidad, muchos países cuentan con sistemas eficaces de recopilación de datos e implementan cada vez más plataformas electrónicas.

Por otra parte, los datos rutinarios permiten análisis estandarizados en los distintos niveles geográficos, como el nivel de distrito (1). En cada país de la PNIN, se evalúa la calidad de los datos rutinarios con una o más herramientas (DQR, RDQA, etc.).

Sería ideal utilizar los datos de todos los sectores que contribuyen a la nutrición. Sin embargo, los datos proporcionados por el sistema de información rutinaria sobre salud se encuentran entre los datos más organizados y accesibles, que no es el caso de otros sectores. Resulta crucial darle especial importancia al Sistema de Información sobre Gestión de la Salud y su calidad en la PNIN.

El objetivo principal de esta guía es garantizar el empleo de un enfoque estandarizado de calidad para verificar la calidad de los datos rutinarios, en concordancia con los valores y objetivos de la PNIN. Sumado a esto, utilizar una herramienta publicada para evaluar los datos rutinarios en el ciclo operacional de la PNIN podría ser, de hecho, un valor agregado para la sostenibilidad del enfoque de la PNIN.

Referencia:
(1) Cesar G Victora, Robert Black, J Ties Boerma, Jennifer Bryce. Measuring impact in the Millennium Development Goal era and beyond: a new approach to large-scale effectiveness evaluations. Lancet, 2011; 377:85-95.

Control de calidad de los datos rutinarios (2/10)

2. ¿Por qué se debe evaluar la calidad de los datos rutinarios?

Si bien los datos rutinarios son datos administrativos que dependen de la finalidad de uso, se requiere evaluar su calidad e identificar los puntos débiles o áreas para mejorar.

La decisión sobre si los datos tienen la calidad suficiente para emplearlos estará supeditada al tipo de análisis (por ejemplo, análisis específicos, mejora continua de la calidad, etc.).

La mayoría de los países ya disponen de procesos de evaluación de la calidad de los datos rutinarios que, por lo general, se centran en los indicadores principales que no necesariamente incluyen datos nutricionales.

Podría ser útil, y hasta crucial, corroborar si los datos que ya se validaron a nivel nacional tienen la calidad suficiente para el análisis previsto a fin de asegurar que esta esté en consonancia con las necesidades del análisis de la PNIN.

La mayoría de las herramientas existentes, como la herramienta Revisión de la calidad de los datos (DRQ) de la OMS, se concentran en los principales indicadores de los programas o proyectos (p. ej., indicadores de vacunación, cuidado prenatal, tuberculosis, VIH y paludismo). Por lo general, los indicadores de nutrición no se incluyen en las evaluaciones habituales de calidad que se llevan a cabo en los países.

Las Plataformas Nacionales de Información pueden agregar valor al impulsar la integración de los indicadores de nutrición en el proceso de evaluación de la calidad de los datos dentro del Sistema de Información sobre Gestión de la Salud.

Por último, las orientaciones sobre cómo elegir y emplear una herramienta de evaluación de la calidad pueden facilitar la comparación y el aprendizaje entre los países, lo que proporciona un estándar único de calidad.

Control de calidad de los datos rutinarios (3/10)

3. ¿Qué influye en la calidad de los datos rutinarios?

a) Observaciones generales

Es importante evaluar la cobertura del Sistema de Información sobre Gestión de la Salud (en nuestro caso, para los indicadores de nutrición). Si la cobertura es escasa, los datos nutricionales procedentes del Sistema de Información sobre Gestión de la Salud probablemente estarán sesgados y, como consecuencia, no serán útiles.

Los problemas con la calidad de los datos rutinarios son similares para la mayoría de los indicadores. Como se muestra en la siguiente figura, los principales problemas están relacionados con la exactitud y la completitud del numerador (1 y 2), así como con el método de estimación y la exactitud del denominador (3).

Fuente: Countdown to 2030 for Women’s, Children’s and Adolescents’ Health - Presentación en el taller sobre análisis de los datos procedentes de los centros de salud para los principales indicadores de desempeño del sistema de salud, mayo de 2019.

La calidad de los datos se ve afectada durante y después de la recopilación de los datos. Existen tres factores básicos que inciden en la calidad (Measure Evaluation) de los resultados de los programas cuando se comparan con el tiempo:

1. Instrumentación – La instrumentación se refiere a la manera en que los datos se recopilan. Es posible que no se empleen los mismos métodos de recopilación de resultados entre un período informado y el siguiente. Como consecuencia de este "sesgo de medición", puede ocurrir que los dos conjuntos de resultados no se puedan comparar de manera directa (por ejemplo, las balanzas no son del mismo tipo o no están calibradas correctamente).
2. Programas – Los resultados de un período informado podrían parecer inconsistentes con los resultados equivalentes de otro período informado debido a cambios reales en la aplicación de los programas y a una mayor o menor cantidad de actividades de los programas (por ejemplo, la ampliación de las sesiones de fomento de la lactancia materna en un centro de salud para incluir las visitas a los hogares en el próximo período informado o el centro puede estar cerrado porque la enfermera se ausentó para asistir a una capacitación o para buscar los medicamentos en la farmacia del distrito, etc.).
3. Medición – Los cambios en las definiciones del indicador podrían provocar que los resultados de los programas se midan de diferentes maneras en los períodos informados. En este caso, los resultados de un período informado no necesariamente se podrían comparar de manera directa con los resultados de otro período informado. Esto también se puede relacionar con la calidad (de la capacitación) de los enumeradores.

Control de calidad de los datos rutinarios (4/10)

b) Marco de calidad de los datos rutinarios y sistemas existentes de datos rutinarios

Las actividades de los programas o proyectos se llevan a cabo y supervisan en los sitios correspondientes para cuantificar los avances logrados o los esfuerzos realizados con un determinado indicador.

De acuerdo con la Guía del facilitador del Sistema de Información sobre Gestión de la Salud para la capacitación de capacitadores (Measure Evaluation) “un indicador es una variable que describe una situación concreta y, de este modo, permite la medición de los cambios en el tiempo. Transforma la información rudimentaria para que sea más adecuada para la toma de decisiones”.

La siguiente figura ofrece un marco esquemático sobre cómo evaluar la calidad de los datos rutinarios mediante 6 dimensiones.

Fuente: Measure Evaluation

Entre los sistemas existentes de datos rutinarios (haga clic en el enlace al final de la página para obtener más información) algunos de ellos parecen ser más adecuados para los fines de las Plataformas Nacionales de Información sobre Nutrición: el Sistema de Información sobre Gestión de la Salud – más adecuado, el Sistema Integrado de Vigilancia y Respuesta de Enfermedades, el Sistema de Vigilancia Centinela, y otros sistemas de datos sectoriales, que son los menos organizados de todos.

Los datos del Sistema de Vigilancia Centinela también son parte de los datos rutinarios. Este sistema se puede emplear para recopilar datos nutricionales. A diferencia de los sistemas de vigilancia basados en la población, el Sistema de Vigilancia Centinela ofrece una mayor flexibilidad de diseño con los requisitos de participación de varios asociados de la red.

Un ministerio competente (como salud, agricultura, educación) que realice intervenciones en favor de la nutrición tendrá su propio sistema y proceso de recopilación de datos. En muchos casos, el Sistema de Información sobre Gestión de la Salud está mejor organizado y sistematizado que el sistema de información de otros sectores.

Sin embargo, estos sistemas de datos rutinarios aún no integran de manera suficiente los indicadores de nutrición. La PNIN y otros asociados en el ámbito de la nutrición deberían promover la integración de más indicadores de nutrición, tanto en sistemas de información a corto plazo, como los sistemas de vigilancia centinela durante las emergencias, así como en sistemas de información continua y permanente, como el Sistema de Información sobre Gestión de la Salud.

Control de calidad de los datos rutinarios (5/10)

4. ¿Cómo se pueden medir los datos de buena calidad y cuáles se pueden recomendar para su uso en la PNIN?

a) Observaciones generales

La mayoría de las herramientas de evaluación de la calidad de los datos rutinarios diferencian entre tipos de calidad de los datos, que se denominan dominios, dimensiones o atributos:

• La herramienta DQR de la OMS emplea dominios y parámetros para evaluar la calidad de los datos rutinarios
• La herramienta Measure Evaluation utiliza dimensiones para lo que se denomina "parámetro" en la herramienta DQR de la OMS
• Chen et al., 2014 (1) los llamaron atributos.

Todas estas denominaciones se refieren a más o menos lo mismo. Hong Chen et al. concluyeron en su revisión que la completitud, la precisión y la puntualidad eran las tres dimensiones más evaluadas de la calidad de los datos, sin embargo, identificaron más de 30 dimensiones (consulte la siguiente lista) .

Fuente:
(1) Chen, Hong & Hailey, David & Wang, Ning & Yu, Ping. (2014). A Review of Data Quality Assessment Methods for Public Health Information Systems. International journal of environmental research and public health. 11. 5170-5207, 10.3390/ijerph110505170.

Control de calidad de los datos rutinarios (6/10)

b) Elección de la herramienta

En los países, se emplean varias herramientas de evaluación de la calidad de los datos rutinarios para evaluar habitualmente la calidad de los datos o durante las actividades de supervisión sobre el terreno. En el siguiente enlace, se resumen las ventajas y desventajas de las principales herramientas.

En un cuestionario dirigido a los países de la PNIN, se halló que casi todos los países emplean la herramienta DQR de la OMS para evaluar la calidad de los datos rutinarios. La herramienta DQR de la OMS se emplea como parte del software DHIS 2 o de manera separada como una aplicación de hojas de cálculo de Excel para evaluar la calidad de los datos rutinarios mediante el uso de un indicador de rastreo.

Para apoyar la evaluación de la calidad de los datos rutinarios por parte de los equipos nacionales de la PNIN, se recomienda el uso de la herramienta DQR de la OMS (aplicación integrada en el software DHIS 2 o aplicación de hojas de cálculo de Excel) para evaluar los indicadores de nutrición de los sistemas de datos rutinarios.

Control de calidad de los datos rutinarios (7/10)

b) Breve introducción a la herramienta Revisión de la calidad de los datos (DQR) de 2017 de la OMS

La herramienta DQR es una herramienta analítica basada en Excel que calcula los parámetros estándares de la calidad de los datos de los indicadores seleccionados. Examina la calidad de los datos generados por el sistema de información de un centro de salud de hasta seis indicadores de rastreo de todas las áreas del programa. Además de las áreas del programa que se emplean a modo de ejemplo en la herramienta, la DQR también se puede utilizar para evaluar otros indicadores de las áreas del programa, como nutrición. Para ello, se debe ingresar la información correspondiente sobre los datos (indicador) que se evaluarán.

A través del análisis de los seis indicadores de rastreo, la herramienta cuantifica los problemas relacionados con la completitud, la exactitud y la coherencia externa de los datos, y proporciona información valiosa sobre hasta qué punto los datos son adecuados para apoyar la planificación y la supervisión anual (sitio web de la herramienta DQR).

Todos los ejemplos que se presentan a continuación proceden de la herramienta Revisión de la calidad de los datos de la OMS.

Control de calidad de los datos rutinarios (8/10)

5. Consideraciones adicionales importantes para la PNIN