Principes généraux pour l’analyse des données

  • Les atouts d’une PNIN

    La force de la PNIN réside dans sa capacité à :

    1. répondre aux questions de politique en matière de nutrition à partir de la demande des décideurs.
    2. faire un meilleur usage des données nationales et infranationales existantes (en fonction de la disponibilité / l’accessibilité / la qualité des données), pour une meilleure compréhension :
      • des progrès et des disparités régionales concernant les objectifs et les causes de la nutrition ;
      • de la couverture des interventions et programmes spécifiques à la nutrition et sensibles à la nutrition ;
      • des investissements dans ces programmes.

    La valeur ajoutée du cycle opérationnel de la PNIN réside dans la création d’un dialogue permanent entre conseillers en politiques et analystes de données afin de décider des questions de politique prioritaires, du type d’analyse et de la manière dont les résultats de l’analyse seront communiqués aux décideurs sous forme de recommandations pratiques pour la prise de décision. Cela diffère de l’approche habituelle dans laquelle les analystes de données analysent les données d’enquête, préparent un rapport et le partagent avec les décideurs, avec une interaction limitée.

    • Étant donné que la force de la PNIN réside dans la réponse aux questions de politique en matière de nutrition et dans un meilleur usage des données existantes, l’analyse de données effectuée par la PNIN suit des principes spécifiques.
    • En raison de ces principes et de la nature des données généralement utilisées par la PNIN, certaines méthodes d’analyse de données sont mieux adaptées que d’autres pour fournir des réponses traduisibles en actions et en décisions.

    La présente note d’orientation clarifie ces deux points du “point de vue des données”. Elle doit être utilisée en totale cohérence avec la note d’orientation sur la formulation des questions de politique (voir section 2).

    Les objectifs de cette note d’orientation sont :

    • d’aider les équipes de la PNIN à identifier ou à choisir la méthode d’analyse de données adaptée aux questions de politique en matière de nutrition et à la qualité des données ;
    • de discuter des forces et des limites des plateformes PNIN pour différents types d’analyse de données, illustrées par des exemples concrets et une argumentation méthodologique ;
    • d’identifier les outils et méthodes d’analyse particulièrement adaptés à l’élaboration de recommandations pratiques permettant d’éclairer les décisions en matière de politique nutritionnelle, de programme et de budget.

    Un document de synthèse résumant cette section peut être utilisé pour :

    • Forger une compréhension partagée au sein des composantes "données" et "politique" et du Comité Consultatif Multisectoriel de la PNIN, de ce que la PNIN peut faire ou ne pas faire.
    • Aider les équipes de la PNIN à communiquer avec les partenaires extérieurs sur ce que la PNIN peut faire ou ne pas faire en termes d’analyse.
    *****
    Quels types de données sont généralement utilisées par une PNIN ?
  • Formuler une question pertinente vis-à-vis des politiques publiques

    Comme décrit dans la section 2 sur la formulation des questions pour l’analyse par la PNIN, une question est pertinente du point de vue des politiques publiques et de la PNIN si :

    1. elle correspond à une demande de la part des décideurs
    2. on peut la traiter avec les données et les capacités existantes
    3. la réponse peut être apportée en temps opportun par rapport au processus décisionnel
    4. la réponse peut être formulée sous forme de recommandations pratiques

    Qu’est-ce que cela implique en termes d’analyse des données ?

    *****
  • Implications en termes d’analyse des données (1/4)

    Principe 1 : La question correspond à une demande de la part des décideurs

    • L’objectif de l’analyse est défini par les décideurs, pas par les analystes. Un dialogue entre décideurs et analystes est nécessaire pour spécifier l’objectif et clarifier la question.
    *****

    Principe 2 : La question peut être analysée avec les données et les capacités existantes

    • Les analystes doivent évaluer s’il est envisageable de répondre à la question posée avec les données disponibles, et en fonction de leur qualité. Cela a également des répercussions sur les méthodes d’analyse adaptées à la question et aux données (voir pages 6 à 9 de cette section).
    • L’idée derrière la PNIN est de mieux valoriser les données existantes. Donc, les questions qui nécessiteraient de nouvelles données ne rentrent pas dans le champ d’activité de la PNIN. Mais il peut être possible de répondre partiellement à la question, ou de faire appel à d’autres structures pour mener une étude approfondie sur la question.
    • Les données qualitatives sont également des sources d’information importantes à considérer pour interpréter les résultats des analyses quantitatives.
    *****

    Principe n°3 : La réponse est fournie en temps opportun par rapport aux processus décisionnels

    • Les résultats de l’analyse doivent être fournis au moment où les décideurs en ont besoin.
    • Par exemple, si la réponse intervient trois mois après la finalisation du plan d’action multisectoriel pour la nutrition, ce sera trop tard. Il faut donc ajuster la complexité de l’analyse par rapport au calendrier.
    • On doit donc se demander quels résultats on peut raisonnablement apporter dans les délais impartis.
    *****
  • Implications en termes d’analyse des données (2/4)

    Principe 4 : les résultats doivent pouvoir être formulés sous formes de recommandations pratiques

    • Les analyses de données “internes” ou “appartenant à un pays” peuvent avoir un impact plus important sur les décideurs que les analyses de données sophistiquées effectuées par des organisations internationales.
    • Les analyses descriptives simples sont parfois plus révélatrices que les analyses complexes car le message est clair et les données peuvent être présentées de manière simple et visuelle. Un histogramme (Figure 1) est plus facile à comprendre et plus susceptible de fournir des recommandations traduisibles en actions ou en décisions qu’un tableau de régression (Figure 2).

    (voir aussi la section 4 : communiquer et disséminer les résultats).

    *****
    Figure 1. Exemple de présentation de données MICS (Ghana, 2011)

    (source : REACH)

    JPEG - 91.3 ko
    *****
    Figure 2. Exemple d’une analyse causale utilisant un modèle de régression (Niger)

    (source : FEWS NET)

    JPEG - 123.8 ko
    *****
  • Implications en termes d’analyse des données (3/4)

    Néanmoins, simple ne signifie pas bâclé : les analyses doivent être faites proprement

    • Pour influencer les décideurs, les analyses de données et les résultats doivent être incontestables. La diffusion des résultats d’une analyse peu convaincante peut nuire à la réputation et à la crédibilité du projet et de l’organisation.
    • L’analyse proposée doit être de grande qualité, compte tenu des ressources disponibles.
    • Cela signifie qu’il doit y avoir cohérence entre la question, la disponibilité des données, la qualité des données, la méthode d’analyse de données et la capacité de l’unité d’analyse des données. Un plan d’analyse de données détaillé et bien conçu assure cette cohérence globale (voir ci-dessous un exemple de plan d’analyse).
    • Une analyse de données de grande qualité n’induit pas nécessairement l’utilisation d’une méthode complexe d’analyse de données.
    • Reconnaissant la nécessité d’établir rapidement la crédibilité de la plateforme PNIN, il est important d’identifier une question initiale qui nécessite une analyse limitée et qui peut être rapidement produite (cueillir d’abord les « fruits à portée de main »).
    • Le tableau de bord sur la nutrition de la PNIN est un exemple d’analyse rapidement produite (section 3.2), qui peut-être particulièrement utile s’il est intégré au dialogue politique en lien avec la formulation des questions (section 2).
    *****
    Comment construire un plan d’analyse des données ?
  • Implications en termes d’analyse des données (4/4)

    Les résultats doivent « raconter une histoire »

    • La PNIN utilise les chemins de l’impact en matière de nutrition pour décomposer des questions de politique générales, souvent liées à l’impact. Le chemin de l’impact est un moyen logique d’organiser les différents éléments (moyens - activités - produits - résultats - impact). Une question à large impact peut être décomposée en un certain nombre de sous-questions plus susceptibles de recevoir une réponse avec les données existantes, telles que les questions relatives aux moyens (ressources financières et humaines), aux activités (les interventions) et aux produits (la couverture des interventions auprès de la population cible).
    • L’analyse des données relatives aux indicateurs le long des chemins de l’impact en matière de nutrition peut raconter une histoire tout au long du chemin et ne doit pas apparaître comme une compilation d’indicateurs. Lorsque la logique du chemin est claire, elle est plus susceptible d’influencer les décideurs.
    *****
    Exemple
    Les raisons pour lesquelles une intervention agricole sensible à la nutrition a ou n’a pas conduit à l’amélioration des résultats en matière de nutrition peuvent être expliquées de manière claire et convaincante lors de l’analyse :
    • des différences en termes d’investissement dans ces interventions dans le temps ou entre les groupes de population (moyens en ressources humaines et financières) ;
    • de l’évolution de la qualité et de la fréquence de mise en œuvre des interventions dans le temps ou entre les groupes de population (si les données pour un indicateur indirect de la mise en œuvre des activités sont disponibles) ;
    • de quelle est la proportion de la population cible qui a le plus bénéficié de l’intervention (couverture par quintile de revenu, par exemple) ; et
    • de l’évolution éventuelle du facteur/de la cause de risque dans le temps ou entre les groupes de population (par exemple, le score de diversité alimentaire).
*****
  • Méthodes d’analyse de données adaptées à la configuration de la PNIN (1/3)

    Compte tenu des principes d’analyse de données propres à la PNIN et de la nature des données généralement disponibles dans les enquêtes basées sur la population ou au sein des systèmes d’information de suivi de routine, comme décrit dans la partie précédente, certaines méthodes d’analyse de données sont particulièrement adaptées pour aboutir à des recommandations pratiques afin d’éclairer les décisions en matière de politique nutritionnelle, de programme et de budget, tandis que d’autres sont moins appropriées. La partie suivante décrit pourquoi :

    1. des méthodes significatives d’analyse de données descriptive ou comparative doivent constituer le point de départ de la PNIN ;
    2. les données d’enquêtes basées sur la population ou les données de routine ne permettent pas une analyse solide des liens de causalité ou une évaluation d’impact ;
    3. l’analyse du rapport coût-efficacité des interventions nécessite un cadre de recherche.
    *****

    1. Des méthodes significatives d’analyse de données descriptive ou comparative doivent constituer le point de départ de la PNIN

    L’analyse descriptive multisectorielle, l’analyse budgétaire et l’analyse des tendances, qui utilisent différentes sources d’information, sont des méthodes classiques d’analyse de données permettant de répondre à des questions de politique.
    Ces méthodes peuvent :

    • être appliquées aux enquêtes basées sur la population, aux données de routine ou aux données modélisées ;
    • délivrer un message simple et facile à communiquer aux décideurs ;
    • fournir des résultats qui ne peuvent pas être contestés et traduisibles en actions ou en décisions ;
    • fournir des résultats en temps utile ;
    • maximiser l’utilisation de données sous-utilisées sur les investissements dans la nutrition et sur la couverture des interventions (partie gauche du chemin de l’impact, section 2.3, page 5).
      Ces méthodes suivent bien les principes d’analyse de données de la PNIN (voir pages précédentes) et s’adaptent au type de données généralement utilisées par la PNIN (cette section, page 1).
      Les six exemples présentés ci-dessous illustrent comment des méthodes d’analyses descriptives ou comparatives peuvent fournir des informations particulièrement utiles aux décideurs.
    *****
    Exemples
  • Méthodes d’analyse de données adaptées à la configuration de la PNIN (2/3)

    2. Les données d’enquêtes basées sur la population ou les données de routine ne permettent pas une analyse solide des liens de causalité ou une évaluation d’impact

    Les décideurs politiques sont, de manière compréhensible, intéressés par les grandes questions, par exemple : « Les investissements dans ce programme ont-ils réduit les taux d’anémie ? » Afin de pouvoir tirer une conclusion définitive et invoquer un lien de causalité, un certain nombre de conditions doivent être remplies par l’analyse de données :

    • il existe une association statistiquement significative entre la mise en œuvre du programme pour la nutrition et la réduction des taux d’anémie ;
    • les investissements dans le programme concerné ont eu lieu avant la réduction mesurée de l’anémie (temporalité).

    Cela n’est cependant pas suffisant pour conclure à l’existence d’un lien de causalité !

    Par exemple, une personne qui boit du café tous les matins avant le lever du soleil peut conclure que boire du café fait lever le soleil. Il existe une association parfaite et la consommation de café précède le lever du soleil. Pourtant, personne ne tirerait cette conclusion !
    (Exemple donné par J. Leroy, IFPRI. regarder la vidéo de sa presentation lors du premier rassemblement international des PNIN, à Paris, en juillet 2018)

    D’autres facteurs doivent être pris en compte, comme :

    • la plausibilité : l’interprétation causale de l’association observée doit être cohérente avec les connaissances existantes. Connaissant les lois de l’univers, cela n’a pas de sens d’interpréter l’association entre boire du café et le lever du soleil comme étant causale ;
    • des facteurs de confusion (voir ci-dessous) pourraient fournir une explication alternative pour l’association observée et ceci doit être vérifié ;
    • d’autres critères permettant de suggérer une causalité ont été décrits ici : Hill and Bradford (1965) : "The Environment and Disease : Association or Causation ?". Proceedings of the Royal Society of Medicine. 58 (5) : (295-300) (voir ci-dessous).
    L’utilisation de données d’enquêtes basées sur la population ou de données de routine pour effectuer une analyse de causalité peut être erronée et est sujette à critique
    L’exemple ci-dessous fournit une illustration concrète. De nombreuses études scientifiques utilisent des méthodes de modélisation par régression pour effectuer une analyse de causalité en matière de nutrition à l’aide d’enquêtes basées sur la population (Source : FEWSNET).
    Cependant ces études :
    • peuvent être erronées et sujettes à critique, car elles ne contrôlent pas tous les facteurs de confusion ;
    • peuvent avoir une incidence de colinéarité élevée (lorsque les causes sont co-associées) ;
    • expliquent rarement plus de 20 % de la variabilité observée ;
    • fournissent rarement de nouvelles informations ;
    • fournissent rarement des recommandations traduisibles en actions ou en décisions.
  • *****
    Information supplémentaire et exemples

    The Environment and Disease : Association or Causation ? Bradford & Hill, 1965

  • Méthodes d’analyse de données adaptées à la configuration de la PNIN (3/3)

    3. L’analyse du rapport coût-efficacité des interventions nécessite un cadre de recherche

    • Mesurer le rapport coût-efficacité des interventions nécessite de comparer différentes interventions, de mesurer leur impact relatif et de mesurer très précisément tous les coûts directs et indirects qui leur sont liés.
    • La collecte de ces données nécessite généralement un cadre de recherche et un plan d’étude scientifique rigoureux.
    • Une analyse coût-efficacité ne convient pas à l’approche PNIN, qui ne vise pas à collecter de nouvelles données, mais plutôt à utiliser les données existantes collectées lors d’enquêtes basées sur la population.
    *****
    Exemple d’analyse coût-efficacité
    • L’étude REFANI au Pakistan – un essai contrôlé randomisé par grappes de l’efficacité et du rapport coût-efficacité des programmes de transfert monétaire en fonction de l’état nutritionnel des enfants : protocole d’étude. Source : Fenn B. et al. 2015. BMC Public Health 15(1044).
    • La bibliothèque E-lena de l’OMS rassemble plus de 100 articles et rapports qui évaluent le rapport coût-efficacité d’une large gamme d’interventions nutritionnelles dans différents contextes.
  • Implications sur la pertinence des méthodes d’analyse de données

    • La formulation des questions peut directement impliquer une méthode particulière d’analyse de données. Par exemple, une question commençant par : « Quel est le rapport coût-efficacité de l’intervention X sur… ? » implique directement une analyse coût-efficacité. Par conséquent, le fait qu’une telle méthode ne se prête pas à l’analyse de données existantes a une incidence très directe sur la possibilité de répondre à cette question.
    • Dans certains cas, la formulation des questions doit être ajustée de manière à impliquer une méthode d’analyse de données plus apte à répondre, totalement ou partiellement, aux préoccupations des décideurs. En particulier, les questions impliquant une méthodologie d’évaluation de l’impact doivent être décomposées en sous-questions traitant des éléments du chemin de l’impact. Ceci est bien décrit dans la section 2.
    • Il est recommandé que la PNIN utilise les données existantes afin d’analyser les progrès en matière de mise en œuvre par rapport aux objectifs du plan d’action multisectoriel pour la nutrition.
    • En revanche, il est recommandé de ne PAS utiliser les données existantes pour analyser des questions de causalité, d’impact ou de rapport coût-efficacité en lien avec la malnutrition. Ces questions doivent être traitées par une revue de la littérature existante ou, le cas échéant, des protocoles d’études spécifiquement conçus pour ces objectifs.
    *****
    Types de questions qui peuvent être analysées par la PNIN
    JPEG - 91.5 ko
    *****
    Exemples de questions correctement formulées