¿Qué es la recolección de resultados?
Outcome Harvesting es una metodología desarrollada por el evaluador y consultor Ricardo Wilson-Grau y sus colegas. Puede ayudarlo a comprender y verificar si se ha producido un cambio como resultado de sus acciones en situaciones complejas y a largo plazo en las que puede ser difícil definir objetivos específicos para una actividad. Esto podría ser, por ejemplo, cuando los objetivos u metas no se hubieran determinado antes del inicio de la actividad o cuando evolucionaran con el tiempo.
La recolección de resultados es una metodología de evaluación de seis pasos que puede utilizarse en situaciones más complejas «en las que las relaciones de causa y efecto no se entienden plenamente». La información sobre los resultados se «cosecha» y se analiza en diferentes etapas:
Mapear a los usuarios de la Cosecha de Resultados e identificar a las partes interesadas
Definir la pregunta de investigación
Mapear los resultados (revisión de documentos, consulta con socios)
Sustituya los resultados con su(s) parte(s) interesada(s)
Interpreta y analiza tus resultados
Utilice los resultados
¿Cuál es el resultado de la recolección de resultados?
A diferencia de los resultados descriptivos simples que identifican cambios en el comportamiento o la actitud (por ejemplo, una mayor probabilidad de visitar una exposición), un resultado en la recolección de resultados es rico y descriptivo. Puede variar desde una oración hasta varios párrafos de largo. Debería cubrir el quién, qué, por qué, dónde y cómo. El «quién» es particularmente importante: los implicados deben ser identificados para ayudar con la justificación.
¿Cuándo se debe utilizar la recolección de resultados?
La recolección de resultados se puede utilizar cuando se centra más en los resultados (efectividad) que en las actividades (eficiencia) y cuando, por ejemplo, las actividades pueden desarrollarse orgánicamente con el tiempo; cuando se quiere saber más sobre los procesos de cambio; y cuando la relación entre causa y efecto es compleja. Puede obtener más información en el sitio web de BetterEvaluation.
¿Cómo utilizamos la recolección de resultados en Europeana?
En Europeana, consideramos que la recolección de resultados era un enfoque adecuado y emocionante para poner a prueba en nuestra evaluación de impacto de la contribución de Europeana y EuropeanaTecha la aplicación de la IIIF (un conjunto de normas abiertas para entregar objetos digitales atribuidos de alta calidad en línea a escala). El «resultado» descriptivo que investigamos fue si la adopción de IIIF por parte del Nationalmuseum, el museo sueco de arte y diseño (2016-2017) se debió a la promoción de Europeana de la herramienta y al apoyo de Europeana en su aplicación.
Como esta era una nueva metodología para nosotros, buscamos asesoramiento y coaching sobre la metodología de un experto externo. Tomó mucho tiempo y confiamos en la participación de socios involucrados o conectados a EuropeanaTech y IIIF.
Entrevistamos a siete partes interesadas en entrevistas que duraron de una hora a 90 minutos. Las entrevistas demostraron ser una forma efectiva de introducir a los entrevistados en la metodología, aunque, curiosamente, aprendimos que la recolección de resultados captura con mayor frecuencia las respuestas escritas utilizando encuestas u otros métodos.
En última instancia, encontramos que no pudimos justificar este resultado en una entrevista de verificación. Esto significa que no pudimos demostrar que el museo adoptara el IIIF como resultado de las acciones de Europeana o EuropeanaTech.
¿Qué aprendimos?
Aunque no pudimos fundamentar nuestro resultado, formulando otras preguntas en torno a la recogida de datos de la cosecha de resultados, tuvimos, sin embargo, otros aprendizajes. Por ejemplo, podríamos ver en un estudio de caso en profundidad que el cambio digital puede tener lugar muy lentamente, y que puede tomar mucho tiempo adoptar nuevas tecnologías. Identificamos algunos de los muchos factores diferentes que influyen en la transformación digital de una organización.
Llegamos a la conclusión de que sin el trabajo de la Comunidad EuropeanaTech, no habría datos de IIIF en la plataforma Europeana. EuropeanaTech aumentó el impulso y la visibilidad de IIIF entre la comunidad del patrimonio cultural, facilitó el intercambio entre Europeana, las instituciones del patrimonio cultural y los profesionales de la tecnología, y proporcionó un espacio para la experimentación y el avance técnico. Sin embargo, carecemos de los datos que nos ayudarían a investigar si EuropeanaTech contribuyó a un aumento de los datos conformes con la IIIF en Europeana y de qué manera. La falta de datos es el resultado del tiempo que lleva crear nuevas infraestructuras técnicas o adaptar las existentes. Este marco de tiempo, y la complejidad del contexto, también hace que atribuir un factor o desencadenante para el cambio sea muy difícil.
Nuestro informe original no anticipaba completamente la complejidad del área de investigación. Aunque la metodología de recolección de resultados en última instancia no era adecuada para investigar el cambio en este contexto, nos ayudó a identificar resultados tangibles y verificar si se habían logrado con las partes interesadas pertinentes. Aunque la recolección de resultados está diseñada para situaciones complejas, observamos que tiene limitaciones cuando se usa en un contexto complejo con un ritmo lento de cambio y muchos otros factores de influencia. Se necesitaría más investigación, y una perspectiva a más largo plazo, para abordar adecuadamente la pregunta de investigación que hicimos.
Descubre más
Puede leer más detalles sobre cómo aplicamos la recolección de resultados en la evaluación de impacto de EuropeanaTech. También publicaremos esta guía de «cómo hacerlo» en la próxima versión de la segunda fase de Impact Playbook a finales de este año. ¡Únete a la comunidad Impact para ser el primero en enterarte!