Hvad er Outcome Harvesting?
Outcome Harvesting er en metode udviklet af evaluator og konsulent Ricardo Wilson-Grau og kolleger. Det kan hjælpe dig med at forstå og kontrollere, om der er sket ændringer som følge af dine handlinger i komplekse og langsigtede situationer, hvor det kan være svært at definere specifikke mål for en aktivitet. Dette kan f.eks. være, når mål eller målsætninger ikke var blevet fastsat, inden aktiviteten begyndte, eller når den udviklede sig over tid.
Outcome Harvesting er en evalueringsmetode i seks trin, der kan anvendes i mere komplekse situationer, "hvor forholdet mellem årsag og virkning ikke forstås fuldt ud". Oplysninger om resultater "høstes" og analyseres på tværs af forskellige trin:
Kortlægge brugerne af Outcome Harvest og identificere interessenter
Definer forskningsspørgsmålet
Kortlægge resultaterne (dokumentgennemgang, høring af partnere)
Begrund resultaterne med din(e) interessent(er)
Fortolke og analysere dine resultater
Brug resultaterne
Hvad er resultatet af Outcome Harvesting?
I modsætning til simple beskrivende resultater, der identificerer ændringer i adfærd eller holdning (for eksempel øget sandsynlighed for at besøge en udstilling), er et resultat i Outcome Harvesting rig og beskrivende. Det kan variere alt fra en sætning til flere afsnit lang. Den bør dække hvem, hvad, hvorfor, hvor og hvordan. "Hvem" er særlig vigtig - de involverede skal identificeres for at hjælpe med underbygningen.
Hvornår skal høstudbyttet anvendes?
Outcome Harvesting kan anvendes, når der fokuseres mere på resultater (effektivitet) end aktiviteter (effektivitet), og når f.eks. aktiviteter kan udvikle sig organisk over tid. når du vil vide mere om forandringsprocesser og når forholdet mellem årsag og virkning er komplekst. Du kan læse mere på BetterEvaluation-webstedet.
Hvordan brugte vi Outcome Harvesting i Europeana?
Hos Europeana mente vi, at Outcome Harvesting var en passende og spændende tilgang til pilotprojektet i vores konsekvensanalyse af Europeanas og EuropeanaTechsbidrag til gennemførelsen af IIIF (et sæt åbne standarder for levering af digitale objekter af høj kvalitet online i stor skala). Det beskrivende "resultat", som vi undersøgte, var, om Nationalmuseets, Sveriges kunst- og designmuseums (2016-2017) vedtagelse af IIIF var takket være Europeanas fremme af værktøjet og støtte fra Europeana i forbindelse med gennemførelsen.
Da dette var en ny metode for os, søgte vi rådgivning og coaching om metoden fra en ekstern ekspert. Det tog lang tid, og vi var afhængige af deltagelse af partnere, der var involveret i eller forbundet med EuropeanaTech og IIIF.
Vi interviewede syv interessenter i interviews, der varede fra en time til 90 minutter. Interviews viste sig at være en effektiv måde at introducere de interviewede til metoden, men interessant lærte vi, at Outcome Harvesting oftest fanger skriftlige svar ved hjælp af undersøgelser eller andre metoder.
I sidste ende konstaterede vi, at vi ikke kunne underbygge dette resultat i et verifikationsinterview. Det betyder, at vi ikke kunne bevise, at museet vedtog IIIF som følge af Europeanas eller EuropeanaTechs handlinger.
Hvad lærte vi?
Vi kunne ikke underbygge vores resultat, men ved at stille andre spørgsmål i forbindelse med indsamlingen af data om sluthøsten havde vi andre erfaringer. Vi kunne f.eks. se i et dybdegående casestudie, at digitale forandringer kan foregå meget langsomt, og at det kan tage lang tid at indføre ny teknologi. Vi identificerede nogle af de mange forskellige faktorer, der påvirker en organisations digitale omstilling.
Vi konkluderede, at der uden EuropeanaTech-fællesskabets arbejde ikke ville være nogen IIIF-data på Europeana-platformen. EuropeanaTech øgede fremdriften og synligheden af IIIF blandt kulturarvssamfundet, lettede udvekslingen mellem Europeana, kulturarvsinstitutioner og fagfolk inden for teknologi og gav plads til eksperimenter og tekniske fremskridt. Alligevel mangler vi de data, der kan hjælpe os med at undersøge, om og hvordan EuropeanaTech bidrog til en stigning i antallet af IIIF-kompatible data om Europeana. Manglen på data er resultatet af den tid, det tager at lave nye eller tilpasse eksisterende tekniske infrastrukturer. Denne tidsramme og kontekstens kompleksitet gør det også meget vanskeligt at tilskrive en faktor eller udløse forandring.
Vores oprindelige opgave var ikke fuldt ud at forudse forskningsområdets kompleksitet. Selv om Outcome Harvesting-metoden i sidste ende ikke var egnet til at undersøge ændringer i denne sammenhæng, hjalp den os med at identificere håndgribelige resultater og kontrollere, om disse var opnået med relevante interessenter. Selvom Outcome Harvesting er designet til komplekse situationer, bemærkede vi, at det har begrænsninger, når det bruges i en kompleks sammenhæng med et langsomt forandringstempo og mange andre indflydelsesfaktorer. Der vil være behov for yderligere forskning og et mere langsigtet perspektiv for i tilstrækkelig grad at løse det forskningsspørgsmål, vi stillede.
Læs mere
Du kan læse mere om, hvordan vi anvendte Outcome Harvesting i EuropeanaTech-konsekvensanalysen. Vi vil også offentliggøre denne vejledning i den næste version af anden fase af Impact Playbook senere på året. Deltag i Impact Community for at være den første til at høre om det!