Was ist Outcome Harvesting?
Outcome Harvesting ist eine Methodik, die von Evaluator und Berater Ricardo Wilson-Grau und Kollegen entwickelt wurde. Es kann Ihnen helfen zu verstehen und zu überprüfen, ob Veränderungen aufgrund Ihrer Handlungen in komplexen und langfristigen Situationen stattgefunden haben, in denen es schwierig sein kann, spezifische Ziele für eine Aktivität zu definieren. Dies könnte beispielsweise der Fall sein, wenn Ziele oder Ziele nicht vor Beginn der Tätigkeit festgelegt wurden oder wenn sie sich im Laufe der Zeit weiterentwickelt haben.
Outcome Harvesting ist eine sechsstufige Bewertungsmethode, die in komplexeren Situationen verwendet werden kann, „in denen die Zusammenhänge von Ursache und Wirkung nicht vollständig verstanden werden“. Informationen über die Ergebnisse werden „geerntet“ und in verschiedenen Schritten analysiert:
Mapping der Nutzer der Outcome Harvest und Identifizieren von Stakeholdern
Definieren Sie die Forschungsfrage
Bestandsaufnahme der Ergebnisse (Dokumentenprüfung, Konsultation der Partner)
Substantiieren Sie die Ergebnisse mit Ihren Stakeholdern
Interpretieren und analysieren Sie Ihre Ergebnisse
Nutzen Sie die Ergebnisse
Was ist ein Ergebnis beim Outcome Harvesting?
Im Gegensatz zu einfachen beschreibenden Ergebnissen, die Veränderungen im Verhalten oder in der Einstellung identifizieren (zum Beispiel erhöhte Wahrscheinlichkeit, eine Ausstellung zu besuchen), ist ein Ergebnis in Outcome Harvesting reichhaltig und beschreibend. Es kann von einem Satz bis zu mehreren Absätzen reichen. Es sollte das Wer, Was, Warum, Wo und Wie abdecken. Das „Wer“ ist besonders wichtig - die Beteiligten müssen identifiziert werden, um bei der Begründung zu helfen.
Wann sollte Outcome Harvesting eingesetzt werden?
Outcome Harvesting kann verwendet werden, wenn Sie sich mehr auf Ergebnisse (Wirksamkeit) als auf Aktivitäten (Effizienz) konzentrieren und wenn sich beispielsweise Aktivitäten im Laufe der Zeit organisch entwickeln könnten; wenn Sie mehr über Veränderungsprozesse erfahren möchten; und wenn die Beziehung zwischen Ursache und Wirkung komplex ist. Weitere Informationen finden Sie auf der BetterEvaluation-Website.
Wie haben wir Outcome Harvesting in Europeana eingesetzt?
Bei Europeana hielten wir Outcome Harvesting für einen geeigneten und spannenden Ansatz, um den Beitrag von Europeana und EuropeanaTechzur Umsetzung von IIIF (einer Reihe offener Standards für die Bereitstellung hochwertiger, zugeordneter digitaler Objekte online in großem Maßstab) in unserer Folgenabschätzung zu pilotieren. Das beschreibende „Ergebnis“, das wir untersuchten, war, ob die Annahme von IIIF durch das Nationalmuseum, das schwedische Museum für Kunst und Design (2016-2017), auf die Förderung des Instruments durch Europeana und die Unterstützung durch Europeana bei der Umsetzung zurückzuführen war.
Da dies eine neue Methodik für uns war, haben wir uns von einem externen Experten beraten und coachen lassen. Es hat viel Zeit gedauert und wir haben uns auf die Beteiligung von Partnern verlassen, die an EuropeanaTech und IIIF beteiligt oder damit verbunden sind.
Wir haben sieben Stakeholder in Interviews von einer Stunde bis zu 90 Minuten interviewt. Interviews erwiesen sich als eine effektive Möglichkeit, die Befragten in die Methodik einzuführen, obwohl wir interessanterweise gelernt haben, dass Outcome Harvesting am häufigsten schriftliche Antworten mit Umfragen oder anderen Methoden erfasst.
Letztendlich stellten wir fest, dass wir dieses Ergebnis in einem Überprüfungsinterview nicht untermauern konnten. Dies bedeutet, dass wir nicht nachweisen konnten, dass das Museum IIIF als Ergebnis der Maßnahmen von Europeana oder EuropeanaTech angenommen hat.
Was haben wir gelernt?
Obwohl wir unser Ergebnis nicht untermauern konnten, indem wir andere Fragen im Zusammenhang mit der Datenerhebung über die Ergebnisernte stellten, hatten wir andere Erkenntnisse. Zum Beispiel konnten wir in einer eingehenden Fallstudie sehen, dass der digitale Wandel sehr langsam stattfinden kann und dass die Einführung neuer Technologien viel Zeit in Anspruch nehmen kann. Der Hof ermittelte einige der vielen verschiedenen Faktoren, die den digitalen Wandel einer Organisation beeinflussen.
Wir kamen zu dem Schluss, dass es ohne die Arbeit der EuropeanaTech Community keine IIIF-Daten auf der Europeana-Plattform geben würde. EuropeanaTech steigerte die Dynamik und Sichtbarkeit von IIIF in der Gemeinschaft des Kulturerbes, erleichterte den Austausch zwischen Europeana, Einrichtungen des Kulturerbes und Technologiefachleuten und bot Raum für Experimente und technischen Fortschritt. Uns fehlen jedoch die Daten, mit denen wir untersuchen könnten, ob und wie EuropeanaTech zu einem Anstieg der IIIF-konformen Daten über Europeana beigetragen hat. Der Mangel an Daten ist das Ergebnis der Zeit, die für die Erstellung neuer oder die Anpassung bestehender technischer Infrastrukturen benötigt wird. Dieser Zeitrahmen und die Komplexität des Kontextes machen auch die Zuordnung eines Faktors oder Auslösers für Veränderungen sehr schwierig.
Unser ursprünglicher Auftrag hat die Komplexität des Forschungsbereichs nicht vollständig antizipiert. Obwohl die Outcome Harvesting-Methodik letztlich nicht geeignet war, Veränderungen in diesem Zusammenhang zu untersuchen, half sie uns, greifbare Ergebnisse zu identifizieren und zu überprüfen, ob diese mit relevanten Interessenträgern erreicht wurden. Obwohl Outcome Harvesting für komplexe Situationen konzipiert ist, haben wir festgestellt, dass es Einschränkungen hat, wenn es in einem komplexen Kontext mit einem langsamen Tempo der Veränderung und vielen anderen Einflussfaktoren verwendet wird. Weitere Forschung und eine längerfristige Perspektive wären erforderlich, um die von uns gestellte Forschungsfrage angemessen anzugehen.
Erfahren Sie mehr
Weitere Informationen darüber, wie wir Outcome Harvesting angewendet haben, finden Sie in der EuropeanaTech-Folgenabschätzung. Wir werden diesen Leitfaden auch in der nächsten Version der zweiten Phase des Impact Playbook noch in diesem Jahr veröffentlichen. Treten Sie der Impact Community bei, um als Erster davon zu erfahren!