Vad är Outcome Harvesting?
Outcome Harvesting är en metod som utvecklats av utvärderaren och konsulten Ricardo Wilson-Grau och kollegor. Det kan hjälpa dig att förstå och verifiera om förändring har skett som ett resultat av dina handlingar i komplexa och långsiktiga situationer där det kan vara svårt att definiera specifika mål för en aktivitet. Detta kan till exempel vara när mål eller syften inte hade fastställts innan verksamheten inleddes eller när den utvecklades över tid.
Resultat Skörd är en utvärderingsmetod i sex steg som kan användas i mer komplexa situationer ”där sambanden mellan orsak och verkan inte är helt förstådda”. Information om resultaten ”skördas” och analyseras i olika steg:
Kartlägga användarna av resultatskörden och identifiera intressenter
Definiera forskningsfrågan
Kartlägga resultaten (dokumentgranskning, samråd med partner)
Bekräfta resultaten med dina intressenter
Tolka och analysera dina resultat
Använd resultaten
Vad är ett resultat i Outcome Harvesting?
Till skillnad från enkla beskrivande resultat som identifierar förändringar i beteende eller attityd (till exempel ökad sannolikhet att besöka en utställning) är ett resultat i Outcome Harvesting rikt och beskrivande. Det kan sträcka sig från en mening till flera stycken långa. Den bör omfatta vem, vad, varför, var och hur. ”Vem” är särskilt viktigt – de inblandade måste identifieras för att hjälpa till med styrkandet.
När ska utfallsskörden användas?
Resultat Skörd kan användas när du är mer inriktad på resultat (effektivitet) än aktiviteter (effektivitet) och när till exempel aktiviteter kan utvecklas organiskt över tiden. när du vill veta mer om förändringsprocesser; Sambandet mellan orsak och verkan är komplext. Mer information finns på webbplatsen för BetterEvaluation.
Hur användes Outcome Harvesting i Europeana?
På Europeana ansåg vi att resultatavverkning var ett lämpligt och spännande tillvägagångssätt för pilotprojektet i vår konsekvensbedömning av Europeanas och EuropeanaTechsbidrag till genomförandet av IIIF (en uppsättning öppna standarder för att leverera högkvalitativa, tillskrivna digitala föremål online i stor skala). Det beskrivande ”resultat” som vi undersökte var om antagandet av IIIF av Nationalmuseum, Sveriges konst- och designmuseum (2016–2017) berodde på Europeanas främjande av verktyget och stöd från Europeana i genomförandet.
Eftersom detta var en ny metod för oss sökte vi råd och coaching om metoden från en extern expert. Det tog mycket tid och vi förlitade oss på deltagande av partner som är involverade i eller kopplade till EuropeanaTech och IIIF.
Vi intervjuade sju intressenter i intervjuer som varade från en timme till 90 minuter. Intervjuer visade sig vara ett effektivt sätt att introducera intervjupersonerna till metoden, men intressant lärde vi oss att Outcome Harvesting oftast fångar skriftliga svar med hjälp av undersökningar eller andra metoder.
I slutändan fann vi att vi inte kunde styrka detta resultat i en verifieringsintervju. Detta innebär att vi inte kunde bevisa att museet antog IIIF till följd av Europeanas eller EuropeanaTechs åtgärder.
Vad lärde vi oss?
Även om vi inte kunde styrka vårt resultat genom att ställa andra frågor om insamlingen av uppgifter om resultat av skörd, hade vi dock andra lärdomar. I en fördjupad fallstudie kunde vi till exempel se att den digitala förändringen kan ske mycket långsamt och att det kan ta lång tid att införa ny teknik. Vi identifierade några av de många olika faktorer som påverkar en organisations digitala omställning.
Vi drog slutsatsen att det utan EuropeanaTech-gemenskapens arbete inte skulle finnas några IIIF-uppgifter på Europeana-plattformen. EuropeanaTech ökade dynamiken och synligheten för IIIF bland kulturarvsgemenskapen, underlättade utbytet mellan Europeana, kulturarvsinstitutioner och teknikproffs och gav utrymme för experiment och tekniska framsteg. Ändå saknar vi de data som skulle hjälpa oss att undersöka om och hur EuropeanaTech bidrog till en ökning av IIIF-kompatibla data om Europeana. Bristen på data är ett resultat av den tid det tar att skapa ny eller anpassa befintlig teknisk infrastruktur. Denna tidsram, och sammanhangets komplexitet, gör det också mycket svårt att tillskriva en faktor eller utlösande faktor för förändring.
Vårt ursprungliga uppdrag förutsåg inte helt forskningsområdets komplexitet. Även om resultatavverkningsmetoden i slutändan inte var lämplig för att undersöka förändringar i detta sammanhang, hjälpte den oss att identifiera konkreta resultat och kontrollera om dessa hade uppnåtts med relevanta intressenter. Även om Outcome Harvesting är utformad för komplexa situationer, noterade vi att den har begränsningar när den används i ett komplext sammanhang med en långsam förändringstakt och många andra påverkande faktorer. Ytterligare forskning, och ett längre perspektiv, skulle behövas för att på ett adekvat sätt ta itu med den forskningsfråga vi ställde.
Läs mer
Du kan läsa mer om hur vi tillämpade resultatavverkning i EuropeanaTechs konsekvensbedömning. Vi kommer också att publicera denna handledning i nästa version av fas två av Impact Playbook senare i år. Gå med i Impact Community för att bli den första att höra om det!