L’objectif de cette activité est de vous aider à donner un sens aux données collectées en les transformant en résultats qui peuvent vous aider à évaluer si votre solution produit les résultats et l’impact escomptés.

L’analyse et le reportage sont un processus continu d’interrogation et de découverte. À ce titre, ces lignes directrices devraient être consultées en même temps que le module sur les mécanismes de rétroaction et d’examen. Vous devez être en mesure de comprendre ce que les données recueillies vous disent, de comparer les résultats et de tirer des conclusions afin de pouvoir répondre à vos questions de recherche et atteindre vos objectifs d’apprentissage. L’analyse et le reporting nécessitent généralement plusieurs étapes :

• Organisation et interrogation des données : Établir des bases solides pour l’analyse.
• Analyse initiale : Pour détecter des modèles, des thèmes et des relations dans les informations.
• Attribution de la cause à effet : Pour tester des hypothèses.
• Traduction des résultats en informations : Aider à tirer des conclusions et à élaborer des recommandations.
• Rédaction et diffusion du rapport : Partager les résultats et encourager l’adoption.

Que votre plan de recherche utilise ou non des méthodes quantitatives ou qualitatives, ou qu’il soit réalisé dans le but de montrer une amélioration comparative ou un impact démontré, ou d’évaluer le rendement et la fonctionnalité, toutes les activités d’analyse et de rapport doivent tenir compte de ces étapes. Les conseils suivants ont pour but de vous aider à naviguer dans ces étapes.

En règle générale, les données brutes ne sont pas très utiles. Avant de pouvoir commencer tout type d’analyse, vous devrez organiser vos données dans un format logique qui peut être facilement compris. Toute analyse doit commencer par cette étape, que vous utilisiez ou non des techniques qualitatives ou quantitatives, ou que vous travailliez avec des données primaires ou secondaires.

La documentation systématique (par exemple, la transcription des entretiens, la documentation des notes de terrain), l’archivage (par exemple, l’étiquetage, le stockage), le nettoyage (par exemple, la vérification des erreurs) et l’organisation (par exemple, l’étiquetage, le tri) des données de recherche sont autant d’éléments essentiels pour les rendre aussi utilisables et valides que possible, et les rendre accessibles à des fins d’analyse.

C’est à ce moment-là que d’autres informations provenant d’entretiens et de notes de terrain peuvent être codées (c’est-à-dire en ajoutant des étiquettes de catégorie et des références au sujet) et que les données numériques peuvent être triées, transformées (par exemple, regroupées, appariées, réorganisées) et visualisées afin d’identifier des tendances, des modèles, des thèmes et des relations qui ne seraient autrement pas clairs.

Une fois que les données de votre projet sont organisées et transformées dans des formats utiles et utilisables, vous voudrez également interroger les données pour vous assurer qu’elles sont de la plus haute qualité (déterminée par vos objectifs d’apprentissage et vos exigences en matière de preuves). Pour vous assurer que vos données sont valides, fiables et exactes, vous pouvez utiliser diverses techniques, notamment :

• Justification: Demander à des informateurs bien informés, fiables et objectifs si les données semblent fiables.
• Triangulation: Vérifier vos données par rapport à d’autres résultats de recherche et données disponibles, ou évaluer les données par rapport à d’autres données qui ont été collectées à l’aide d’approches et de méthodes différentes des vôtres.
• Vérification ponctuelle : Effectuer des sélections aléatoires de vos données et vérifier qu’elles sont exactes.
• Vérifications logiques : Vérifier si vos données ont un sens d’un point de vue logique.

Prenez soin de reconnaître votre niveau de confiance dans les données et de vérifier les éventuelles valeurs aberrantes (données surprenantes, inattendues ou semblant contradictoires).

Découvrez des motifs, des tendances et des thèmes

Votre prochain travail consiste à transformer vos données en informations utiles et significatives en parcourant les données brutes pour déterminer ce qui est significatif par rapport à vos questions de recherche et à vos objectifs d’apprentissage. Ce processus commence par l’identification de toutes les caractéristiques, thèmes, modèles, relations et problèmes intéressants et significatifs qui émergent. Les questions les plus fréquentes sont les suivantes :

• Quels modèles ou thèmes communs émergent autour d’éléments spécifiques des données ?
• Comment ces tendances (ou leur absence) aident-elles à faire la lumière sur les questions d’étude plus larges ?
• Y a-t-il des écarts par rapport à ces modèles ? Si oui, quels facteurs pourraient expliquer ces réponses atypiques ?
• Quelles histoires intéressantes émergent de l’ensemble des données ?
• L’une ou l’autre des tendances ou des thèmes émergents suggère-t-il que des données supplémentaires doivent être recueillies ?

Après avoir identifié des thèmes ou des modèles, essayez de réorganiser les données en affichages graphiques, tableaux, matriciels ou textuels pour aider à tirer des conclusions. Grâce à ce processus, vous devriez être en mesure d’identifier les modèles et les relations observés au sein des groupes et entre les groupes, ce qui aidera également à mettre en évidence les valeurs aberrantes et les résultats imprévus. Quel que soit le format que vous avez choisi, il doit être en mesure de vous aider à organiser et à réfléchir aux données d’une nouvelle manière et à vous aider à identifier des modèles et des relations entre les thèmes et/ou le contenu.

Cause et effet de l’attribut

Dans la phase pilote , vous présentez votre solution dans des contextes réels par le biais d’une intervention humanitaire. Vous devez donc au moins chercher à comprendre si votre solution a eu un impact sur le groupe cible (impact démontrable).

Nous considérons que l’impact signifie les changements positifs ou négatifs produits par une intervention – directement ou indirectement, intentionnels ou non. Vous pouvez également essayer de savoir si votre innovation offre ou non une amélioration par rapport aux interventions et méthodes de travail actuelles (amélioration comparative).

Les deux cas justifient une compréhension des relations de cause à effet. Vous ne recueillez pas des preuves simplement pour voir si un changement de conditions s’est produit, mais aussi pour comprendre le rôle de votre intervention dans la production de ce changement.

Dans de nombreux cas, cependant, les résultats et les impacts seront causés par une combinaison de facteurs. Ainsi, plutôt que d’une « attribution fortuite », il peut être plus utile de parler d’« attribution partielle » et de « contribution causale », en posant la question suivante : l’intervention a-t-elle contribué de manière plausible aux résultats et aux impacts observés ? (Meilleure évaluation). En fin de compte, vous devez expliquer dans quelle mesure les résultats observés (résultats ou impacts) ont été produits par votre intervention. La causalité est fonction de trois choses :

• Ordre du temps : La cause se produit-elle avant l’effet ?
• Co-variation : L’introduction (ou l’augmentation) d’un facteur entraîne-t-elle un changement observable dans le résultat ?
• Réfutation des explications alternatives : La relation est-elle basée sur la cause plutôt que sur la corrélation ?

Nous pouvons donc étudier l’attribution partielle ou la contribution causale de trois manières :

• Vérifiez que les résultats sont cohérents avec la contribution causale : Y a-t-il une relation de cause à effet (covariation) entre l’intervention et les impacts observés ?
• Comparez les résultats au contrefactuel : Les résultats de votre intervention sont-ils différents de ceux qui se seraient produits si vous n’aviez pas exécuté votre intervention ? C’est extrêmement difficile à faire dans les contextes humanitaires, même en utilisant des essais contrôlés randomisés.
• Rechercher d’autres explications possibles pour les impacts observés : Est-il possible que les résultats observés aient été causés par d’autres moyens ? Il existe plusieurs façons de le faire, certaines doivent se produire pendant votre exercice de collecte de données, et d’autres peuvent se produire par la façon dont vous interrogez vos données.