Što je ishod žetve?
Outcome Harvesting je metodologija koju su razvili evaluator i konzultant Ricardo Wilson-Grau i kolege. To vam može pomoći da razumijete i provjerite je li do promjene došlo zbog vaših postupaka u složenim i dugoročnim situacijama u kojima može biti teško definirati određene ciljeve za aktivnost. To bi moglo biti, na primjer, kada ciljevi nisu bili utvrđeni prije početka aktivnosti ili kada se ona s vremenom razvijala.
Outcome Harvesting je metodologija evaluacije u šest koraka koja se može koristiti u složenijim situacijama „u kojima odnosi uzroka i posljedica nisu u potpunosti shvaćeni”. Informacije o ishodima „dobivene” su i analizirane u različitim koracima:
Mapiranje korisnika programa Outcome Harvest i identificiranje dionika
Definiraj pitanje istraživanja
Mapiranje ishoda (preispitivanje dokumenata, savjetovanje s partnerima)
Potkrijepite rezultate sa svojim dionicima
Interpretirajte i analizirajte svoje rezultate
Upotrijebite nalaze
Što je rezultat u žetvi ishoda?
Za razliku od jednostavnih opisnih ishoda koji identificiraju promjene u ponašanju ili stavu (na primjer, povećana vjerojatnost posjeta izložbi), ishod u Outcome Harvesting je bogat i opisan. Može se kretati bilo gdje od rečenice do nekoliko stavaka dugo. Trebao bi pokriti tko, što, zašto, gdje i kako. „Tko” je posebno važan – potrebno je identificirati uključene osobe kako bi se pomoglo u potkrepljivanju.
Kada treba koristiti Outcome Harvesting?
Ishodi žetve mogu se koristiti kada ste više usredotočeni na ishode (djelotvornost) nego na aktivnosti (učinkovitost) i kada se, na primjer, aktivnosti mogu razvijati organski tijekom vremena; kada želite znati više o procesima promjene; i kada je odnos između uzroka i posljedica složen. Više informacija dostupno je na internetskim stranicama BetterEvaluation.
Kako smo koristili Outcome Harvesting u Europeani?
U Europeani smo smatrali da je iskorištavanje rezultata prikladan i uzbudljiv pristup pilot-projektu u našoj procjeni učinka doprinosa Europeane i EuropeanaTechaprovedbi instrumenta IIIF (skup otvorenih standarda za isporuku visokokvalitetnih, dodijeljenih digitalnih objekata na internetu u širim razmjerima). Opisni „ishod” koji smo istražili bio je da li je donošenje IIIF-a od strane Nacionalnog muzeja, švedskog muzeja umjetnosti i dizajna (2016. – 2017.) bilo zahvaljujući promidžbi alata i potpori Europeane u provedbi.
Budući da je riječ o novoj metodologiji, zatražili smo savjet i savjetovanje o metodologiji od vanjskog stručnjaka. Bilo je potrebno mnogo vremena i oslanjali smo se na sudjelovanje partnera uključenih u EuropeanaTech i IIIF ili povezanih s njima.
Sud je obavio razgovore sa sedam dionika u trajanju od jednog sata do 90 minuta. Intervjui su se pokazali učinkovitim načinom da se ispitanici upoznaju s metodologijom, iako smo, zanimljivo, naučili da Outcome Harvesting najčešće bilježi pisane odgovore pomoću anketa ili drugih metoda.
Naposljetku, Sud je utvrdio da taj ishod nismo mogli potkrijepiti intervjuom za provjeru. To znači da nismo mogli dokazati da je muzej usvojio IIIF kao rezultat djelovanja Europeane ili EuropeanaTecha.
Što smo naučili?
Iako nismo mogli potkrijepiti svoj ishod, postavljajući druga pitanja u vezi s prikupljanjem podataka o ishodu žetve, ipak smo imali druga saznanja. Na primjer, u detaljnoj studiji slučaja mogli bismo vidjeti da se digitalna promjena može odvijati vrlo sporo i da može potrajati mnogo vremena za usvajanje nove tehnologije. Sud je utvrdio neke od brojnih različitih čimbenika koji utječu na digitalnu transformaciju organizacije.
Zaključili smo da bez rada EuropeanaTech zajednice ne bi bilo podataka iz IIIF-a na platformi Europeana. EuropeanaTech povećao je zamah i vidljivost instrumenta IIIF među zajednicom kulturne baštine, olakšao razmjenu između Europeane, institucija kulturne baštine i tehnoloških stručnjaka te osigurao prostor za eksperimentiranje i tehnički napredak. Međutim, nedostaju nam podaci koji bi nam pomogli da istražimo je li i na koji način EuropeanaTech pridonio povećanju broja podataka o Europeani koji su usklađeni s IIIF-om. Nedostatak podataka rezultat je vremena potrebnog za izradu novih ili prilagodbu postojećih tehničkih infrastruktura. Taj vremenski okvir i složenost konteksta također otežavaju pripisivanje jednog čimbenika ili pokretača promjene.
U našem izvornom sažetku nije se u potpunosti predvidjela složenost istraživačkog područja. Iako metodologija za sječu ishoda u konačnici nije bila prikladna za istraživanje promjena u tom kontekstu, pomogla nam je da utvrdimo konkretne ishode i provjerimo jesu li oni postignuti s relevantnim dionicima. Iako je Outcome Harvesting dizajniran za složene situacije, primijetili smo da ima ograničenja kada se koristi u složenom kontekstu s sporim tempom promjena i mnogim drugim utjecajnim čimbenicima. Daljnja istraživanja i dugoročnija perspektiva bili bi potrebni kako bi se na odgovarajući način odgovorilo na istraživačko pitanje koje smo postavili.
Saznajte više
Više pojedinosti o tome kako smo primijenili postupak sječe rezultata možete pročitati u procjeni učinka EuropeanaTecha. Ovaj vodič s uputama objavit ćemo i u sljedećoj verziji druge faze Priručnika o učinku kasnije ove godine. Pridružite se Impact Community kako biste prvi čuli za to!