O que é a colheita de resultados?
A colheita é uma metodologia desenvolvida pelo avaliador e consultor Ricardo Wilson-Grau e colegas. Pode ajudá-lo a compreender e verificar se a mudança ocorreu como resultado de suas ações em situações complexas e de longo prazo, onde pode ser difícil definir objetivos específicos para uma atividade. Tal pode acontecer, por exemplo, quando os objetivos ou metas não foram determinados antes do início da atividade ou quando esta evoluiu ao longo do tempo.
A colheita de resultados é uma metodologia de avaliação em seis fases que pode ser utilizada em situações mais complexas «em que as relações de causa e efeito não são totalmente compreendidas». As informações sobre os resultados são «colhidas» e analisadas em diferentes etapas:
Mapear os utilizadores da Colheita de Resultados e identificar as partes interessadas
Definir a questão de investigação
Mapear os resultados (revisão de documentos, consulta dos parceiros)
Substanciar os resultados com a(s) sua(s) parte(s) interessada(s)
Interpretar e analisar os seus resultados
Utilizar os resultados
O que é um resultado na colheita de resultados?
Ao contrário de resultados descritivos simples que identificam alterações no comportamento ou atitude (por exemplo, maior probabilidade de visitar uma exposição), um resultado na colheita de resultados é rico e descritivo. Pode variar de uma frase a vários parágrafos. Deve abranger quem, o quê, porquê, onde e como. O «quem» é particularmente importante - as pessoas envolvidas têm de ser identificadas para ajudar na fundamentação.
Quando a colheita de resultados deve ser usada?
A colheita de resultados pode ser utilizada quando está mais centrado nos resultados (eficácia) do que nas atividades (eficiência) e quando, por exemplo, as atividades podem desenvolver-se organicamente ao longo do tempo; quando quiser saber mais acerca dos processos de mudança; e quando a relação entre causa e efeito é complexa. Para mais informações, consulte o sítio Web BetterEvaluation.
Como utilizámos a colheita de resultados na Europeana?
Na Europeana, o Tribunal considerou que a colheita de resultados era uma abordagem adequada e interessante para testar, na sua avaliação de impacto, o contributo da Europeana e da EuropeanaTechpara a aplicação do IIIF (um conjunto de normas abertas para a entrega em linha de objetos digitais de elevada qualidade e atribuídos em grande escala). O «resultado» descritivo que o Tribunal investigou foi se a adoção do IIIF pelo Nationalmuseum, o museu de arte e design da Suécia (2016-2017) se deveu à promoção da ferramenta e ao apoio da Europeana na sua execução.
Uma vez que se tratava de uma nova metodologia, o Tribunal procurou aconselhamento e orientação sobre a mesma junto de um perito externo. Demorou muito tempo e contamos com a participação de parceiros envolvidos ou ligados à EuropeanaTech e ao IIIF.
Foram entrevistadas sete partes interessadas em entrevistas com duração de uma hora a 90 minutos. As entrevistas revelaram-se uma forma eficaz de introduzir os entrevistados à metodologia, embora, curiosamente, tenhamos aprendido que a Colheita de Resultados geralmente capta respostas escritas usando inquéritos ou outros métodos.
Em última análise, o Tribunal constatou que não foi possível fundamentar este resultado numa entrevista de verificação. Isto significa que não foi possível provar que o museu adotou o IIIF em resultado das ações da Europeana ou da EuropeanaTech.
O que aprendemos?
Embora não tenhamos conseguido fundamentar o nosso resultado, fazendo outras perguntas em torno da recolha de dados da Colheita de Resultados, tivemos, no entanto, outras aprendizagens. Por exemplo, poderíamos ver num estudo de caso aprofundado que a mudança digital pode ocorrer muito lentamente e que pode demorar muito tempo a adotar novas tecnologias. O Tribunal identificou alguns dos muitos fatores diferentes que influenciam a transformação digital de uma organização.
O Tribunal concluiu que, sem o trabalho da Comunidade EuropeanaTech, não haveria dados IIIF na plataforma Europeana. A EuropeanaTech aumentou a dinâmica e a visibilidade do IIIF entre a comunidade do património cultural, facilitou o intercâmbio entre a Europeana, as instituições responsáveis pelo património cultural e os profissionais tecnológicos e proporcionou um espaço para a experimentação e o progresso técnico. No entanto, faltam-nos dados que nos ajudem a investigar se e de que forma a EuropeanaTech contribuiu para um aumento dos dados conformes com o IIIF sobre a Europeana. A falta de dados é o resultado do tempo necessário para criar novas infraestruturas técnicas ou adaptar as existentes. Este período de tempo, e a complexidade do contexto, também torna muito difícil atribuir um fator ou gatilho para a mudança.
O nosso resumo original não antecipou totalmente a complexidade da área de investigação. Embora, em última análise, a metodologia de colheita de resultados não fosse adequada para investigar as alterações neste contexto, ajudou-nos a identificar resultados tangíveis e a verificar se estes tinham sido alcançados com as partes interessadas pertinentes. Embora a Colheita de Resultados seja concebida para situações complexas, notámos que tem limitações quando utilizada num contexto complexo com um ritmo lento de mudança e muitos outros fatores de influência. Seria necessária mais investigação e uma perspetiva a mais longo prazo para abordar adequadamente a questão da investigação que colocámos.
Mais informações
Pode ler mais pormenores sobre a forma como o Tribunal aplicou a Colheita de Resultados na avaliação de impacto da EuropeanaTech. Publicaremos também este guia de «como fazer» na próxima versão da Fase 2 do Guia de Impacto ainda este ano. Junte-se à Comunidade de Impacto para ser o primeiro a saber disso!