Wat is Outcome Harvesting eigenlijk?
Outcome Harvesting is een methodiek ontwikkeld door beoordelaar en consultant Ricardo Wilson-Grau en collega's. Het kan u helpen om te begrijpen en te verifiëren of er veranderingen zijn opgetreden als gevolg van uw acties in complexe en langdurige situaties waarin het moeilijk kan zijn om specifieke doelen voor een activiteit te definiëren. Dit kan bijvoorbeeld zijn wanneer doelstellingen of doelen niet waren vastgesteld voordat de activiteit begon, of wanneer deze in de loop van de tijd is geëvolueerd.
Outcome Harvesting is een evaluatiemethode in zes stappen die kan worden gebruikt in complexere situaties “waar de relaties tussen oorzaak en gevolg niet volledig worden begrepen”. Informatie over resultaten wordt “geoogst” en geanalyseerd in verschillende stappen:
Breng de gebruikers van de Outcome Harvest in kaart en identificeer belanghebbenden
Definieer de onderzoeksvraag
Breng de resultaten in kaart (evaluatie van documenten, overleg met partners)
Onderbouw de uitkomsten met uw stakeholder(s)
Interpreteer en analyseer uw resultaten
Gebruik de bevindingen
Wat is de uitkomst van Outcome Harvesting?
In tegenstelling tot eenvoudige beschrijvende uitkomsten die veranderingen in gedrag of houding identificeren (bijvoorbeeld verhoogde kans om een tentoonstelling te bezoeken), is een uitkomst in Outcome Harvesting rijk en beschrijvend. Het kan variëren van een zin tot meerdere alinea's lang. Het moet betrekking hebben op het wie, wat, waarom, waar en hoe. De "wie" is bijzonder belangrijk - de betrokkenen moeten worden geïdentificeerd om te helpen bij de onderbouwing.
Wanneer moet Outcome Harvesting worden gebruikt?
Outcome Harvesting kan worden gebruikt wanneer u meer gericht bent op resultaten (effectiviteit) dan op activiteiten (efficiëntie) en wanneer bijvoorbeeld activiteiten zich in de loop van de tijd organisch kunnen ontwikkelen; wanneer u meer wilt weten over veranderingsprocessen; De relatie tussen oorzaak en gevolg is complex. Meer informatie is te vinden op de website BetterEvaluation.
Hoe hebben we Outcome Harvesting in Europeana gebruikt?
Bij Europeana vonden we Outcome Harvesting een geschikte en opwindende benadering van het proefproject in onze effectbeoordeling van de bijdrage van Europeana en EuropeanaTechaan de uitvoering van IIIF (een reeks open normen voor het op grote schaal online leveren van hoogwaardige, toegewezen digitale objecten). Het beschrijvende “resultaat” dat we onderzochten, was of de goedkeuring van IIIF door het Nationalmuseum, het Zweedse museum voor kunst en design (2016-2017) te danken was aan de promotie van het instrument door Europeana en de steun van Europeana bij de uitvoering.
Omdat dit voor ons een nieuwe methodiek was, hebben we advies en coaching over de methodiek ingewonnen bij een externe expert. Het kostte veel tijd en we vertrouwden op de deelname van partners die betrokken zijn bij of verbonden zijn met EuropeanaTech en IIIF.
We hebben zeven belanghebbenden geïnterviewd in interviews van een uur tot 90 minuten. Interviews bleken een effectieve manier om de geïnterviewden kennis te laten maken met de methodologie, maar interessant genoeg hebben we geleerd dat Outcome Harvesting meestal schriftelijke antwoorden vastlegt met behulp van enquêtes of andere methoden.
Uiteindelijk constateerden we dat we deze uitkomst niet konden onderbouwen in een verificatie-interview. Dit betekent dat we niet konden bewijzen dat het museum IIIF heeft aangenomen als gevolg van de acties van Europeana of EuropeanaTech.
Wat hebben we geleerd?
Hoewel we onze uitkomst niet konden onderbouwen door andere vragen te stellen over de verzameling van gegevens over Outcome Harvest, hebben we wel andere lessen getrokken. We konden bijvoorbeeld in een diepgaande casestudy zien dat digitale verandering heel langzaam kan plaatsvinden en dat het veel tijd kan kosten om nieuwe technologie toe te passen. We hebben een aantal van de vele verschillende factoren geïdentificeerd die van invloed zijn op de digitale transformatie van een organisatie.
We concludeerden dat er zonder het werk van de EuropeanaTech Community geen IIIF-gegevens op het Europeana-platform zouden zijn. EuropeanaTech heeft het momentum en de zichtbaarheid van IIIF onder de gemeenschap van cultureel erfgoed vergroot, de uitwisseling tussen Europeana, instellingen voor cultureel erfgoed en technische professionals vergemakkelijkt en ruimte geboden voor experimenten en technische vooruitgang. Toch missen we de gegevens die ons zouden helpen onderzoeken of en hoe EuropeanaTech heeft bijgedragen aan een toename van IIIF-conforme gegevens over Europeana. Het gebrek aan gegevens is het gevolg van de tijd die nodig is om nieuwe technische infrastructuren te maken of bestaande technische infrastructuren aan te passen. Dit tijdsbestek, en de complexiteit van de context, maakt het ook erg moeilijk om één factor of trigger voor verandering toe te wijzen.
Onze oorspronkelijke briefing anticipeerde niet volledig op de complexiteit van het onderzoeksgebied. Hoewel de methode voor het oogsten van resultaten uiteindelijk niet geschikt was om veranderingen in deze context te onderzoeken, heeft deze ons geholpen tastbare resultaten te identificeren en te controleren of deze met relevante belanghebbenden waren bereikt. Hoewel Outcome Harvesting is ontworpen voor complexe situaties, hebben we opgemerkt dat het beperkingen heeft wanneer het wordt gebruikt in een complexe context met een langzaam tempo van verandering en vele andere beïnvloedende factoren. Verder onderzoek, en een perspectief op langere termijn, zou nodig zijn om de onderzoeksvraag die we stelden adequaat aan te pakken.
Meer informatie
Meer informatie over de toepassing van Outcome Harvesting is te vinden in de EuropeanaTech-effectbeoordeling. We zullen deze “how-to”-gids later dit jaar ook publiceren in de volgende versie van fase twee van het Impact Playbook. Word lid van de Impact Community en hoor er als eerste over!