Principes généraux pour l’analyse des données

  • Les atouts d’une PNIN

    La force de la PNIN réside dans sa capacité à :

    1. répondre aux questions de politique en matière de nutrition à partir de la demande des décideurs.
    2. faire un meilleur usage des données nationales et infranationales existantes (en fonction de la disponibilité / l’accessibilité / la qualité des données), pour une meilleure compréhension :
      • des progrès et des disparités régionales concernant les objectifs et les causes de la nutrition ;
      • de la couverture des interventions et programmes spécifiques à la nutrition et sensibles à la nutrition ;
      • des investissements dans ces programmes.

    La valeur ajoutée du cycle opérationnel de la PNIN réside dans la création d’un dialogue permanent entre conseillers en politiques et analystes de données afin de décider des questions de politique prioritaires, du type d’analyse et de la manière dont les résultats de l’analyse seront communiqués aux décideurs sous forme de recommandations pratiques pour la prise de décision. Cela diffère de l’approche habituelle dans laquelle les analystes de données analysent les données d’enquête, préparent un rapport et le partagent avec les décideurs, avec une interaction limitée.

    • Étant donné que la force de la PNIN réside dans la réponse aux questions de politique en matière de nutrition et dans un meilleur usage des données existantes, l’analyse de données effectuée par la PNIN suit des principes spécifiques.
    • En raison de ces principes et de la nature des données généralement utilisées par la PNIN, certaines méthodes d’analyse de données sont mieux adaptées que d’autres pour fournir des réponses traduisibles en actions et en décisions.

    La présente note d’orientation clarifie ces deux points du “point de vue des données”. Elle doit être utilisée en totale cohérence avec la note d’orientation sur la formulation des questions de politique (voir section 2).

    Les objectifs de cette note d’orientation sont :

    • d’aider les équipes de la PNIN à identifier ou à choisir la méthode d’analyse de données adaptée aux questions de politique en matière de nutrition et à la qualité des données ;
    • de discuter des forces et des limites des plateformes PNIN pour différents types d’analyse de données, illustrées par des exemples concrets et une argumentation méthodologique ;
    • d’identifier les outils et méthodes d’analyse particulièrement adaptés à l’élaboration de recommandations pratiques permettant d’éclairer les décisions en matière de politique nutritionnelle, de programme et de budget.
    *****
    Quels types de données sont généralement utilisées par une PNIN ?
  • Six principes d’analyse de données spécifiques à la PNIN (1/5)

    Afin d’atteindre l’objectif de la PNIN qui consiste à utiliser les données pour étayer un dialogue politique en matière de nutrition, l’analyse de données dans la PNIN suit six principes :

    1. Les données quantitatives existantes doivent être utilisées.
    2. Des analyses de données simples, claires et appartenant au pays ont plus de chances d’avoir un impact sur les décideurs.
    3. Construire la crédibilité de la PNIN est essentiel : ne diffuser que des analyses valides et solides qui ne peuvent pas être contestées.
    4. Les résultats doivent « raconter une histoire ».
    5. Le moment de présentation des résultats doit correspondre au calendrier des politiques.
    6. Les experts en données de la PNIN doivent travailler main dans la main avec les conseillers en politiques de la PNIN.
    *****

    Principe 1 : Les données quantitatives existantes doivent être utilisées

    Une des forces de la PNIN consiste à mieux utiliser les données quantitatives nationales et infranationales existantes. Il n’est pas prévu dans le mandat ou la structure de la PNIN que la plateforme collecte de nouvelles données.

    En conséquence, la PNIN ne peut pas répondre aux questions de politique nécessitant la collecte de nouvelles données.

  • Six principes d’analyse de données spécifiques à la PNIN (2/5)

    Principe 2 : Des analyses de données simples, claires et appartenant au pays ont plus de chances d’avoir un impact sur les décideurs

    • Les analyses de données “internes” ou “appartenant à un pays” peuvent avoir un impact plus important sur les décideurs que les analyses de données sophistiquées effectuées par des organisations internationales.
    • Les analyses descriptives simples sont parfois plus révélatrices que les analyses complexes car le message est clair et les données peuvent être présentées de manière simple et visuelle. Un histogramme (Figure 1) est plus facile à comprendre et plus susceptible de fournir des recommandations traduisibles en actions ou en décisions qu’un tableau de régression (Figure 2).

    Cependant, simple ne veut pas dire rapide et grossier. Ce qui est fait doit être fait correctement.

    *****
    Figure 1. Exemple de présentation de données MICS (Ghana, 2011)

    (source : REACH)

    JPEG - 91.3 ko
    *****
    Figure 2. Exemple d’une analyse causale utilisant un modèle de régression (Niger)

    (source : FEWS NET)

    JPEG - 123.8 ko
  • Six principes d’analyse de données spécifiques à la PNIN (3/5)

    Principe 3 : Construire la crédibilité de la PNIN est essentiel : ne diffuser que des analyses valides et solides qui ne peuvent pas être contestées

    • Pour influencer les décideurs, les analyses de données et les résultats doivent être incontestables. La diffusion des résultats d’une analyse peu convaincante peut nuire à la réputation et à la crédibilité du projet et de l’organisation.
    • L’analyse proposée doit être de grande qualité, compte tenu des ressources disponibles.
    • Cela signifie qu’il doit y avoir cohérence entre la question, la disponibilité des données, la qualité des données, la méthode d’analyse de données et la capacité de l’unité d’analyse des données. Un plan d’analyse de données détaillé et bien conçu assure cette cohérence globale (voir ci-dessous un exemple de plan d’analyse).
    • Une analyse de données de grande qualité n’induit pas nécessairement l’utilisation d’une méthode complexe d’analyse de données.
    • Reconnaissant la nécessité d’établir rapidement la crédibilité de la plateforme PNIN, il est important d’identifier une question initiale qui nécessite une analyse limitée et qui peut être rapidement produite (cueillir d’abord les « fruits à portée de main »).
    • Le tableau de bord sur la nutrition de la PNIN est un exemple d’analyse rapidement produite (section 3.2), qui peut-être particulièrement utile s’il est intégré au dialogue politique en lien avec la formulation des questions (section 2).
      Lien vers la note d’orientation sur le tableau de bord.
      Lien vers la note d’orientation pour la formulation de questions de politique.
    *****
    Comment construire un plan d’analyse des données ?
  • Six principes d’analyse de données spécifiques à la PNIN (4/5)

    Principe 4 : Les résultats doivent « raconter une histoire »

    • La PNIN utilise les chemins de l’impact en matière de nutrition pour décomposer des questions de politique larges, souvent liées à l’impact, en sous-questions plus susceptibles de recevoir une réponse à partir des données existantes. Le chemin de l’impact est un moyen logique d’organiser les différents éléments (moyens - activités - produits - résultats - impact) (section 2.3/n°5).
    • L’analyse des données relatives aux indicateurs le long des chemins de l’impact en matière de nutrition peut raconter une histoire tout au long du chemin et ne doit pas apparaître comme une compilation d’indicateurs. Lorsque la logique du chemin est claire, elle est plus susceptible d’influencer les décideurs.
    *****
    Exemple
    Les raisons pour lesquelles une intervention agricole sensible à la nutrition a ou n’a pas conduit à l’amélioration des résultats en matière de nutrition peuvent être expliquées de manière claire et convaincante lors de l’analyse :
    • des différences en termes d’investissement dans ces interventions dans le temps ou entre les groupes de population (moyens en ressources humaines et financières) ;
    • de l’évolution de la qualité et de la fréquence de mise en œuvre des interventions dans le temps ou entre les groupes de population (si les données pour un indicateur indirect de la mise en œuvre des activités sont disponibles) ;
    • de quelle est la proportion de la population cible qui a le plus bénéficié de l’intervention (couverture par quintile de revenu, par exemple) ; et
    • de l’évolution éventuelle du facteur/de la cause de risque dans le temps ou entre les groupes de population (par exemple, le score de diversité alimentaire).
  • Six principes d’analyse de données spécifiques à la PNIN (5/5)

    Principe 5 : Le moment de présentation des résultats doit correspondre au calendrier des politiques

    Afin de maximiser la probabilité d’influencer les décideurs, les résultats de l’analyse doivent être disponibles en temps utile, c’est-à-dire au moment où les décideurs peuvent utiliser les informations pour prendre des décisions. Cibler la communication des réponses aux questions de politique sur les fenêtres d’opportunité spécifiques du cycle politique (par exemple, l’élaboration du prochain plan quinquennal, l’allocation budgétaire annuelle) augmente la probabilité que les informations influencent réellement les décisions (section 2.2/n°3).

    *****

    Principe 6 : Les experts en données de la PNIN doivent travailler main dans la main avec les conseillers en politiques de la PNIN

    Comme mentionné dans la note d’orientation sur la formulation des questions de politique (section 2), les experts en données doivent avoir des échanges continus avec les conseillers en politiques afin de s’assurer que l’analyse sera convenablement intégrée dans le dialogue politique.

  • Méthodes d’analyse de données adaptées à la configuration de la PNIN (1/3)

    Compte tenu des principes d’analyse de données propres à la PNIN et de la nature des données généralement disponibles dans les enquêtes basées sur la population ou au sein des systèmes d’information de suivi de routine, comme décrit dans la partie précédente, certaines méthodes d’analyse de données sont particulièrement adaptées pour aboutir à des recommandations pratiques afin d’éclairer les décisions en matière de politique nutritionnelle, de programme et de budget, tandis que d’autres sont moins appropriées. La partie suivante décrit pourquoi :

    1. des méthodes significatives d’analyse de données descriptive ou comparative doivent constituer le point de départ de la PNIN ;
    2. les données d’enquêtes basées sur la population ou les données de routine ne permettent pas une analyse solide des liens de causalité ou une évaluation d’impact ;
    3. l’analyse du rapport coût-efficacité des interventions nécessite un cadre de recherche.
    *****

    1. Des méthodes significatives d’analyse de données descriptive ou comparative doivent constituer le point de départ de la PNIN

    L’analyse descriptive multisectorielle, l’analyse budgétaire et l’analyse des tendances, qui utilisent différentes sources d’information, sont des méthodes classiques d’analyse de données permettant de répondre à des questions de politique.
    Ces méthodes peuvent :

    • être appliquées aux enquêtes basées sur la population, aux données de routine ou aux données modélisées ;
    • délivrer un message simple et facile à communiquer aux décideurs ;
    • fournir des résultats qui ne peuvent pas être contestés et traduisibles en actions ou en décisions ;
    • fournir des résultats en temps utile ;
    • maximiser l’utilisation de données sous-utilisées sur les investissements dans la nutrition et sur la couverture des interventions (partie gauche du chemin de l’impact, section 2.3/n°5).
      Ces méthodes suivent bien les principes d’analyse de données de la PNIN (voir pages précédentes) et s’adaptent au type de données généralement utilisées par la PNIN (cette section/n°1).
      Les six exemples présentés ci-dessous illustrent comment des méthodes d’analyses descriptives ou comparatives peuvent fournir des informations particulièrement utiles aux décideurs.
    *****
    Exemples
  • Méthodes d’analyse de données adaptées à la configuration de la PNIN (2/3)

    2. Les données d’enquêtes basées sur la population ou les données de routine ne permettent pas une analyse solide des liens de causalité ou une évaluation d’impact

    Les décideurs politiques sont, de manière compréhensible, intéressés par les grandes questions, par exemple : « Les investissements dans ce programme ont-ils réduit les taux d’anémie ? » Afin de pouvoir tirer une conclusion définitive et invoquer un lien de causalité, un certain nombre de conditions doivent être remplies par l’analyse de données :

    • il existe une association statistiquement significative entre la mise en œuvre du programme pour la nutrition et la réduction des taux d’anémie ;
    • les investissements dans le programme concerné ont eu lieu avant la réduction mesurée de l’anémie (temporalité).

    Cela n’est cependant pas suffisant pour conclure à l’existence d’un lien de causalité !

    Par exemple, une personne qui boit du café tous les matins avant le lever du soleil peut conclure que boire du café fait lever le soleil. Il existe une association parfaite et la consommation de café précède le lever du soleil. Pourtant, personne ne tirerait cette conclusion !
    (Exemple donné par J. Leroy, IFPRI. regarder la vidéo de sa presentation lors du premier rassemblement international des PNIN, à Paris, en juillet 2018)

    D’autres facteurs doivent être pris en compte, comme :

    • la plausibilité : l’interprétation causale de l’association observée doit être cohérente avec les connaissances existantes. Connaissant les lois de l’univers, cela n’a pas de sens d’interpréter l’association entre boire du café et le lever du soleil comme étant causale ;
    • des facteurs de confusion (voir ci-dessous) pourraient fournir une explication alternative pour l’association observée et ceci doit être vérifié ;
    • d’autres critères permettant de suggérer une causalité ont été décrits ici : Hill and Bradford (1965) : "The Environment and Disease : Association or Causation ?". Proceedings of the Royal Society of Medicine. 58 (5) : (295-300) (voir ci-dessous).
    L’utilisation de données d’enquêtes basées sur la population ou de données de routine pour effectuer une analyse de causalité peut être erronée et est sujette à critique
    L’exemple ci-dessous fournit une illustration concrète. De nombreuses études scientifiques utilisent des méthodes de modélisation par régression pour effectuer une analyse de causalité en matière de nutrition à l’aide d’enquêtes basées sur la population (Source : FEWSNET).
    Cependant ces études :
    • peuvent être erronées et sujettes à critique, car elles ne contrôlent pas tous les facteurs de confusion ;
    • peuvent avoir une incidence de colinéarité élevée (lorsque les causes sont co-associées) ;
    • expliquent rarement plus de 20 % de la variabilité observée ;
    • fournissent rarement de nouvelles informations ;
    • fournissent rarement des recommandations traduisibles en actions ou en décisions.
  • *****
    Information supplémentaire et exemples

    The Environment and Disease : Association or Causation ? Bradford & Hill, 1965

  • Méthodes d’analyse de données adaptées à la configuration de la PNIN (3/3)

    3. L’analyse du rapport coût-efficacité des interventions nécessite un cadre de recherche

    • Mesurer le rapport coût-efficacité des interventions nécessite de comparer différentes interventions, de mesurer leur impact relatif et de mesurer très précisément tous les coûts directs et indirects qui leur sont liés.
    • La collecte de ces données nécessite généralement un cadre de recherche et un plan d’étude scientifique rigoureux.
    • Une analyse coût-efficacité ne convient pas à l’approche PNIN, qui ne vise pas à collecter de nouvelles données, mais plutôt à utiliser les données existantes collectées lors d’enquêtes basées sur la population.
    *****
    Exemple d’analyse coût-efficacité
    L’étude REFANI au Pakistan – un essai contrôlé randomisé par grappes de l’efficacité et du rapport coût-efficacité des programmes de transfert monétaire en fonction de l’état nutritionnel des enfants : protocole d’étude. (Source : Fenn B., Sangrasi G.M., Puett C., Trenouth L and Pietzsch S. 2015. The REFANI Pakistan study—a cluster randomised controlled trial of the effectiveness and cost-effectiveness of cash-based transfer programmes on child nutrition status : study protocol. BMC Public Health 15(1044). https://doi.org/10.1186/s12889-015-2380-3).
  • Quelles sont les implications de cette discussion sur la pertinence des méthodes d’analyse de données pour la formulation de questions de politique en matière de nutrition ?

    La formulation des questions peut directement impliquer une méthode particulière d’analyse de données. Par exemple, une question commençant par : « Quel est le rapport coût-efficacité de l’intervention X sur… ? » implique directement une analyse coût-efficacité. Par conséquent, le fait qu’une telle méthode ne se prête pas à l’analyse de données existantes a une incidence très directe sur la possibilité de répondre à cette question.

    Dans certains cas, la formulation des questions doit être ajustée de manière à impliquer une méthode d’analyse de données plus apte à répondre, totalement ou partiellement, aux préoccupations des décideurs. En particulier, les questions impliquant une méthodologie d’évaluation de l’impact doivent être décomposées en sous-questions traitant des éléments du chemin de l’impact. Ceci est bien décrit dans la section 2.

    *****
    Types de questions qui peuvent être analysées par la PNIN
    JPEG - 169.9 ko
  • Qu’est-ce qu’une question de politique bien formulée, du point de vue des données ?

    En s’inspirant de la partie précédente, qui explique pourquoi certaines méthodes d’analyse de données sont mieux adaptées que d’autres pour répondre aux questions de politique, cette partie illustre CE QU’EST une question de politique bien formulée du point de vue des données. COMMENT formuler une question de politique en matière de nutrition a déjà été décrit dans la section 2.
    Quatre exemples sont présentés en détail, utilisant les caractéristiques de questions de politique bien formulées, qui sont garanties par les différentes étapes décrites dans le cycle opérationnel de la PNIN.

    *****
    Caractéristiques d’une question bien formulée
    JPEG - 197.1 ko
    *****
    Quatre exemples de questions bien formulées du point de vue des données