Czym jest Outcome Harvesting?
Outcome Harvesting to metodologia opracowana przez ewaluatora i konsultanta Ricardo Wilson-Grau i współpracowników. Może pomóc Ci zrozumieć i zweryfikować, czy zmiana nastąpiła w wyniku Twoich działań w złożonych i długoterminowych sytuacjach, w których określenie konkretnych celów działania może być trudne. Może to mieć miejsce na przykład wtedy, gdy cele lub założenia nie zostały określone przed rozpoczęciem działania lub gdy z czasem ewoluowały.
Outcome Harvesting to sześcioetapowa metodyka oceny, którą można stosować w bardziej złożonych sytuacjach, „w których relacje przyczynowo-skutkowe nie są w pełni zrozumiałe”. Informacje o wynikach są „zbierane” i analizowane na różnych etapach:
Mapowanie użytkowników zbioru wyników i identyfikowanie zainteresowanych stron
Zdefiniuj pytanie badawcze
Mapowanie wyników (przegląd dokumentów, konsultacje z partnerami)
Uzasadnienie wyników z zainteresowanymi stronami
Interpretuj i analizuj swoje wyniki
Wykorzystaj ustalenia
Jaki jest wynik w Outcome Harvesting?
W przeciwieństwie do prostych opisowych wyników, które identyfikują zmiany w zachowaniu lub postawie (na przykład zwiększone prawdopodobieństwo odwiedzenia wystawy), wynik w Outcome Harvesting jest bogaty i opisowy. Może wahać się od zdania do kilku akapitów. Powinien on obejmować kto, co, dlaczego, gdzie i jak. „Kto” jest szczególnie ważny – należy zidentyfikować osoby zaangażowane, aby pomóc w uzasadnieniu.
Kiedy należy stosować Outcome Harvesting?
Zbieranie wyników może być stosowane, gdy koncentrujesz się bardziej na wynikach (skuteczności) niż na działaniach (wydajności) i gdy, na przykład, działania mogą rozwijać się organicznie w czasie; gdy chcesz dowiedzieć się więcej o procesach zmian; gdy związek przyczynowo-skutkowy jest złożony. Więcej informacji można znaleźć na stronie internetowej BetterEvaluation.
Jak wykorzystaliśmy Outcome Harvesting w Europeanie?
W Europeanie uznaliśmy, że Outcome Harvesting jest odpowiednim i ekscytującym podejściem do pilotażu w naszej ocenie skutków wkładu Europeany i EuropeanaTechwe wdrażanie IIIF (zbioru otwartych standardów dostarczania wysokiej jakości przypisanych obiektów cyfrowych online na dużą skalę). Opisowym „wynikiem”, który zbadaliśmy, było to, czy przyjęcie IIIF przez Nationalmuseum, szwedzkie muzeum sztuki i wzornictwa (2016–2017) było spowodowane promocją narzędzia przez Europeanę i wsparciem ze strony Europeany we wdrażaniu.
Ponieważ była to dla nas nowa metodologia, zwróciliśmy się o poradę i coaching w zakresie metodologii do zewnętrznego eksperta. Zajęło to dużo czasu i polegaliśmy na udziale partnerów zaangażowanych lub powiązanych z EuropeanaTech i IIIF.
Przeprowadziliśmy wywiady z siedmioma zainteresowanymi stronami w wywiadach trwających od jednej godziny do 90 minut. Wywiady okazały się skutecznym sposobem wprowadzenia ankietowanych w metodologię, choć, co ciekawe, dowiedzieliśmy się, że Outcome Harvesting najczęściej przechwytuje pisemne odpowiedzi za pomocą ankiet lub innych metod.
Ostatecznie Trybunał stwierdził, że nie był w stanie uzasadnić tego wyniku podczas rozmowy weryfikacyjnej. Oznacza to, że nie mogliśmy udowodnić, że muzeum przyjęło IIIF w wyniku działań Europeany lub EuropeanaTech.
Czego się nauczyliśmy?
Chociaż nie byliśmy w stanie uzasadnić naszego wyniku, zadając inne pytania dotyczące gromadzenia danych dotyczących zbiorów wyników, doszliśmy jednak do innych wniosków. Na przykład w dogłębnym studium przypadku mogliśmy zobaczyć, że cyfrowa zmiana może następować bardzo powoli i że przyjęcie nowej technologii może zająć dużo czasu. Trybunał zidentyfikował niektóre z wielu różnych czynników, które wpływają na transformację cyfrową organizacji.
Doszliśmy do wniosku, że bez prac społeczności EuropeanaTech nie byłoby danych IIIF na platformie Europeana. EuropeanaTech zwiększyła dynamikę i widoczność IIIF wśród społeczności dziedzictwa kulturowego, ułatwiła wymianę między Europeaną, instytucjami dziedzictwa kulturowego i specjalistami w dziedzinie technologii oraz zapewniła przestrzeń do eksperymentów i postępu technicznego. Brakuje nam jednak danych, które pomogłyby nam zbadać, czy i w jaki sposób EuropeanaTech przyczynił się do wzrostu liczby danych dotyczących Europeany zgodnych z IIIF. Brak danych wynika z czasu potrzebnego na stworzenie nowej lub dostosowanie istniejącej infrastruktury technicznej. Te ramy czasowe i złożoność kontekstu również sprawiają, że przypisanie jednego czynnika lub czynnika powodującego zmianę jest bardzo trudne.
Nasz pierwotny brief nie przewidział w pełni złożoności obszaru badawczego. Chociaż metodyka pozyskiwania wyników nie była ostatecznie odpowiednia do badania zmian w tym kontekście, pomogła nam zidentyfikować wymierne wyniki i sprawdzić, czy zostały one osiągnięte z odpowiednimi zainteresowanymi stronami. Chociaż Outcome Harvesting jest przeznaczony do złożonych sytuacji, zauważyliśmy, że ma ograniczenia, gdy jest stosowany w złożonym kontekście z powolnym tempem zmian i wieloma innymi czynnikami wpływającymi. Potrzebne byłyby dalsze badania i dłuższa perspektywa, aby odpowiednio odpowiedzieć na zadane przez nas pytanie badawcze.
Dowiedz się więcej
Więcej informacji na temat tego, w jaki sposób zastosowaliśmy metodę Outcome Harvesting, można znaleźć w ocenie skutków EuropeanaTech. Ten poradnik zostanie również opublikowany w kolejnej wersji drugiego etapu Impact Playbook jeszcze w tym roku. Dołącz do społeczności Impact, aby być pierwszym, który o tym usłyszy!