Qu'est-ce que la récolte des résultats?
La récolte des résultats est une méthodologie élaborée par l'évaluateur et consultant Ricardo Wilson-Grau et ses collègues. Il peut vous aider à comprendre et à vérifier si des changements sont survenus à la suite de vos actions dans des situations complexes et à long terme où il peut être difficile de définir des objectifs spécifiques pour une activité. Cela pourrait être le cas, par exemple, lorsque les objectifs ou les buts n’ont pas été déterminés avant le début de l’activité, ou lorsqu’ils ont évolué au fil du temps.
La récolte des résultats est une méthode d’évaluation en six étapes qui peut être utilisée dans des situations plus complexes «où les relations de cause à effet ne sont pas pleinement comprises». Les informations sur les résultats sont «récoltées» et analysées en différentes étapes:
Cartographier les utilisateurs de la Récolte de résultats et identifier les intervenants
Définir la question de recherche
Cartographier les résultats (examen des documents, consultation des partenaires)
Établissez les résultats avec vos parties prenantes
Interpréter et analyser vos résultats
Utiliser les résultats
Qu'est-ce qu'un résultat dans la récolte des résultats?
Contrairement aux résultats descriptifs simples qui identifient les changements de comportement ou d'attitude (par exemple, une probabilité accrue de visiter une exposition), un résultat dans la récolte des résultats est riche et descriptif. Il peut aller d'une phrase à plusieurs paragraphes. Il devrait couvrir qui, quoi, pourquoi, où et comment. Le «qui» est particulièrement important: les personnes concernées doivent être identifiées pour contribuer à la justification.
Quand faut-il utiliser la récolte des résultats?
La récolte de résultats peut être utilisée lorsque vous vous concentrez davantage sur les résultats (efficacité) que sur les activités (efficience) et lorsque, par exemple, les activités peuvent se développer de manière organique au fil du temps; lorsque vous voulez en savoir plus sur les processus de changement; et lorsque la relation de cause à effet est complexe. Vous pouvez en savoir plus sur le site web BetterEvaluation.
Comment avons-nous utilisé Outcome Harvesting dans Europeana?
Chez Europeana, nous avons estimé que la récolte des résultats était une approche appropriée et passionnante pour piloter notre analyse d’impact de la contribution d’Europeana et d’EuropeanaTechà la mise en œuvre de l’IMII (un ensemble de normes ouvertes pour la fourniture d’objets numériques attribués de haute qualité en ligne à grande échelle). Le «résultat» descriptif que nous avons examiné était si l’adoption de l’IMII par le musée national d’art et de design suédois (2016-2017) était due à la promotion de l’outil par Europeana et au soutien d’Europeana dans sa mise en œuvre.
Comme il s'agissait d'une nouvelle méthodologie pour nous, nous avons demandé conseil et coaching sur la méthodologie à un expert externe. Cela a pris beaucoup de temps et nous nous sommes appuyés sur la participation de partenaires impliqués ou connectés à EuropeanaTech et IIIF.
Nous avons interrogé sept parties prenantes lors d'entretiens d'une durée d'une heure à 90 minutes. Les entrevues se sont avérées être un moyen efficace d'initier les personnes interrogées à la méthodologie, bien que, de manière intéressante, nous ayons appris que la récolte des résultats capture le plus souvent les réponses écrites à l'aide de sondages ou d'autres méthodes.
En fin de compte, nous avons constaté que nous ne pouvions pas étayer ce résultat lors d'une entrevue de vérification. Cela signifie que nous n’avons pas pu prouver que le musée avait adopté l’IMII à la suite des actions d’Europeana ou d’EuropeanaTech.
Qu'avons-nous appris?
Bien que nous n’ayons pas pu étayer notre résultat, en posant d’autres questions sur la collecte de données sur la récolte des résultats, nous avons néanmoins eu d’autres enseignements. Par exemple, nous pourrions voir dans une étude de cas approfondie que le changement numérique peut se produire très lentement et qu'il peut prendre beaucoup de temps pour adopter de nouvelles technologies. Nous avons recensé certains des nombreux facteurs qui influencent la transformation numérique d’une organisation.
Nous avons conclu que sans les travaux de la communauté EuropeanaTech, il n'y aurait pas de données IIIF sur la plateforme Europeana. EuropeanaTech a accru la dynamique et la visibilité de l’IMII au sein de la communauté du patrimoine culturel, a facilité les échanges entre Europeana, les institutions du patrimoine culturel et les professionnels de la technologie, et a fourni un espace d’expérimentation et de progrès technique. Pourtant, nous manquons de données qui nous aideraient à déterminer si et comment EuropeanaTech a contribué à une augmentation des données conformes à la norme IIIF sur Europeana. Le manque de données est le résultat du temps qu'il faut pour créer de nouvelles infrastructures techniques ou adapter les infrastructures existantes. Ce laps de temps et la complexité du contexte rendent également très difficile l'attribution d'un facteur ou d'un déclencheur de changement.
Notre mémoire original ne prévoyait pas entièrement la complexité du domaine de recherche. Bien que la méthode de récolte des résultats n'ait finalement pas été appropriée pour étudier les changements dans ce contexte, elle nous a aidés à identifier des résultats tangibles et à vérifier si ceux-ci avaient été atteints avec les intervenants pertinents. Bien que la récolte des résultats soit conçue pour des situations complexes, nous avons noté qu'elle a des limites lorsqu'elle est utilisée dans un contexte complexe avec un rythme lent de changement et de nombreux autres facteurs d'influence. D'autres recherches et une perspective à plus long terme seraient nécessaires pour répondre adéquatement à la question de recherche que nous avons posée.
En savoir plus
Vous pouvez lire plus de détails sur la manière dont nous avons appliqué la récolte des résultats dans l’analyse d’impact d’EuropeanaTech. Nous publierons également ce guide pratique dans la prochaine version de la deuxième phase de l’Impact Playbook dans le courant de l’année. Rejoignez la communauté Impact pour être le premier à en entendre parler!