Mikä on lopullinen sadonkorjuu?
Tulosten korjuu on metodologia, jonka ovat kehittäneet arvioija ja konsultti Ricardo Wilson-Grau kollegoineen. Se voi auttaa sinua ymmärtämään ja tarkistamaan, onko toimintasi aiheuttanut muutoksia monimutkaisissa ja pitkäaikaisissa tilanteissa, joissa voi olla vaikea määritellä tiettyjä tavoitteita toiminnalle. Näin voi olla esimerkiksi silloin, kun tavoitteita tai päämääriä ei ollut määritetty ennen toiminnan aloittamista tai kun se kehittyi ajan myötä.
Tulosten korjuu on kuusivaiheinen arviointimenetelmä, jota voidaan käyttää monimutkaisemmissa tilanteissa, joissa syy-seuraussuhteita ei täysin ymmärretä. Tuloksia koskevia tietoja ”korjataan” ja analysoidaan eri vaiheissa:
Kartoitetaan tulosten keruun käyttäjät ja yksilöidään sidosryhmät
Määrittele tutkimuskysymys
Kartoita tulokset (asiakirjojen tarkastelu, kumppanien kuuleminen)
Perustele tulokset sidosryhmiesi kanssa
Tulkita ja analysoida tuloksia
Käytä havaintoja
Mikä on lopputulos sadonkorjuussa?
Toisin kuin yksinkertaiset kuvailevat tulokset, jotka tunnistavat käyttäytymisen tai asenteen muutokset (esimerkiksi lisääntynyt todennäköisyys käydä näyttelyssä), tuloskorjauksen tulos on rikas ja kuvaileva. Se voi vaihdella missä tahansa lauseesta useisiin kappaleisiin. Sen pitäisi kattaa kuka, mitä, miksi, missä ja miten. ”Kuka” on erityisen tärkeä – asianosaiset on yksilöitävä, jotta he voivat auttaa perustelemisessa.
Milloin sadonkorjuun tuloksia tulisi käyttää?
Tulosten korjuuta voidaan käyttää, kun keskitytään enemmän tuloksiin (vaikuttavuus) kuin toimintoihin (tehokkuus) ja kun esimerkiksi toiminnot voivat kehittyä orgaanisesti ajan myötä. kun haluat tietää enemmän muutosprosesseista; ja kun syyn ja seurauksen välinen suhde on monimutkainen. Lisätietoa on BetterEvaluation-verkkosivustolla.
Miten hyödynsimme Outcome Harvestingia Europeanassa?
Tilintarkastustuomioistuin katsoi Europeanassa, että tulosten korjuu oli sopiva ja jännittävä lähestymistapa pilotointiin vaikutustenarvioinnissa, joka koski Europeanan ja EuropeanaTechinpanosta IIIF:n (avoimet standardit korkealaatuisten ja osoitettujen digitaalisten objektien toimittamiseksi verkossa laajamittaisesti) täytäntöönpanoon. Tilintarkastustuomioistuin tutki kuvailevaa ”tulosta”, jos IIIF:n käyttöönotto Ruotsin taide- ja muotoilumuseossa (2016–2017) oli Europeanan välineen edistämisen ja Europeanan täytäntöönpanon tukemisen ansiota.
Koska tämä oli meille uusi menetelmä, pyysimme neuvoja ja valmennusta menetelmästä ulkopuoliselta asiantuntijalta. Se vei paljon aikaa, ja luotimme EuropeanaTechiin ja IIIF:ään osallistuvien tai niihin yhteydessä olevien kumppaneiden osallistumiseen.
Haastattelimme seitsemää sidosryhmää haastatteluissa, jotka kestivät yhdestä tunnista 90 minuuttiin. Haastattelut osoittautuivat tehokkaaksi tavaksi perehdyttää haastateltavat metodologiaan, mutta mielenkiintoisesti opimme, että tulosten korjuu yleisimmin kaappaa kirjallisia vastauksia kyselyillä tai muilla menetelmillä.
Tilintarkastustuomioistuin havaitsi lopulta, että tarkastushaastattelussa ei pystytty perustelemaan tätä tulosta. Tämä tarkoittaa, että emme voineet todistaa, että museo hyväksyi IIIF:n Europeanan tai EuropeanaTechin toimien seurauksena.
Mitä opimme?
Vaikka emme pystyneet perustelemaan tuloksiamme esittämällä muita kysymyksiä tulosten korjuutietojen keruusta, meillä oli kuitenkin muita kokemuksia. Esimerkiksi perusteellisessa tapaustutkimuksessa nähtiin, että digitaalinen muutos voi tapahtua hyvin hitaasti ja että uuden teknologian käyttöönotto voi viedä paljon aikaa. Tilintarkastustuomioistuin havaitsi joitakin monista eri tekijöistä, jotka vaikuttavat organisaation digitaaliseen muutokseen.
Tilintarkastustuomioistuin totesi, että ilman EuropeanaTech-yhteisön työtä Europeana-alustalla ei olisi IIIF-tietoja. EuropeanaTech lisäsi IIIF:n dynamiikkaa ja näkyvyyttä kulttuuriperintöyhteisössä, helpotti Europeanan, kulttuuriperintölaitosten ja tekniikan ammattilaisten välistä vaihtoa ja tarjosi tilaa kokeiluille ja tekniselle kehitykselle. Meillä ei kuitenkaan ole tietoja, jotka auttaisivat meitä tutkimaan, onko EuropeanaTech myötävaikuttanut IIIF-vaatimusten mukaisen datan lisääntymiseen Europeanassa ja jos on, niin miten. Tietojen puute johtuu ajasta, joka kuluu uusien teknisten infrastruktuurien luomiseen tai olemassa olevien teknisten infrastruktuurien mukauttamiseen. Tämä aikakehys ja kontekstin monimutkaisuus vaikeuttavat myös yhden tekijän tai muutoksen käynnistävän tekijän määrittämistä.
Alkuperäisessä katsauksessamme ei täysin ennakoitu tutkimusalueen monimutkaisuutta. Vaikka tulosten korjuumenetelmä ei viime kädessä soveltunut muutoksen tutkimiseen tässä yhteydessä, se auttoi tilintarkastustuomioistuinta tunnistamaan konkreettisia tuloksia ja tarkistamaan, oliko ne saavutettu asiaankuuluvien sidosryhmien kanssa. Vaikka tulosten korjuu on suunniteltu monimutkaisiin tilanteisiin, totesimme, että sillä on rajoituksia, kun sitä käytetään monimutkaisessa kontekstissa, jossa muutosvauhti on hidas ja monet muut vaikuttavat tekijät. Lisätutkimusta ja pidemmän aikavälin näkökulmaa tarvittaisiin, jotta esitettyyn tutkimuskysymykseen voitaisiin vastata asianmukaisesti.
Lue lisää
Lisätietoja tulosten korjuun soveltamisesta on EuropeanaTechin vaikutustenarvioinnissa. Tämä opas julkaistaan myöhemmin tänä vuonna myös Impact Playbook -julkaisun toisen vaiheen seuraavassa versiossa. Liity Impact-yhteisöön kuullaksesi siitä ensimmäisenä!