Enriquecer os metadados do património cultural com melhores etiquetas e descrições torna mais fácil para qualquer pessoa procurar e encontrar estes objetos do património cultural, o que significa que encontrará o que precisa de forma mais rápida e fácil. Os recentes avanços em TI e IA oferecem oportunidades notáveis para o enriquecimento automático de metadados do património cultural com recursos mínimos. No entanto, envolver os seres humanos neste trabalho continua a ser importante. No projeto CRAFTED, estamos a tomar o património artesanal como um estudo de caso, a fim de forjar, implementar e testar uma metodologia que combina algoritmos com validação humana para o enriquecimento de metadados do património cultural em escala.
A metodologia, que descrevemos a seguir, consiste em quatro etapas principais: análise de dados; Enriquecimento automático; Validação dos enriquecimentos por seres humanos; e enriquecimentos de refinação com base nos resultados da validação. Em cada uma das etapas deste processo, lidamos com uma série de questões cruciais. Que tipos de enriquecimento são úteis para diferentes tipos de dados? Como selecionamos as amostras adequadas para validação humana? Como estabelecer limiares de qualidade aceitáveis para os enriquecimentos automáticos?
Análise dos dados
Obter uma compreensão detalhada dos metadados e do conteúdo das coleções selecionadas para enriquecimento, bem como definir objetivos de enriquecimento adequados ao caso, é um primeiro passo crucial para determinar os requisitos que as nossas ferramentas têm de cumprir. É importante estudar as diferentes línguas e semânticas de cada campo de metadados, bem como a forma como os seus valores são estruturados (por exemplo, ao olhar para um campo que transmite informação espacial, pode-se descobrir que o seu valor é frequentemente estruturado no formato de «cidade/região»). Do mesmo modo, as características do conteúdo têm de ser examinadas para identificar características significativas que possam ser derivadas do mesmo, tendo em conta aspetos como a resolução da imagem disponível e a forma como os objetos são representados nas imagens.
Enriquecimento automático
No projeto CRAFTED, aplicámos uma série de ferramentas diferentes para analisar os metadados textuais e o conteúdo de uma grande variedade de coleções com diferentes características e necessidades de enriquecimento. Para a análise dos metadados, utilizou-se a plataforma SAGE (Anotação Semântica e Geração de Enriquecimentos) desenvolvida pela Universidade Técnica Nacional de Atenas. A plataforma é capaz de analisar metadados textuais em diferentes línguas e identificar uma grande variedade de conceitos adequados a cada caso (como materiais e técnicas) mencionados nos metadados. Em seguida, pode associá-los a termos de vocabulários em linha específicos de um domínio, como o tesauro Europeana Fashion, que abrange conceitos relacionados com a moda. Também pode realizar uma extração de entidades nomeadas de propósito mais geral para identificar organizações, locais e pessoas e ligá-los a bases de conhecimento abertas vinculadas, como o Wikidata.
Paralelamente, testámos uma série de ferramentas que analisam imagens e vídeos. Experimentámos duas abordagens principais para a deteção de cores: a primeira abordagem distingue o primeiro plano do segundo plano, após o que tenta extrair a(s) cor(es) do primeiro plano detetado. A segunda abordagem essencialmente faz o mesmo, mas é assistida por um algoritmo de detecção de objetos treinado. Procurou-se também detectar e extrair texto escrito de imagens usando OCR (Optical Character Recognition). Por fim, extraímos transcrições textuais de vídeos, com resultados mistos de acordo com a língua falada.
Validação humana
Na terceira etapa da metodologia, os seres humanos são convidados a verificar os resultados da etapa de anotação automatizada e aceitá-los ou rejeitá-los. Os validadores humanos também podem adicionar novas anotações que o algoritmo automático não conseguiu identificar.
É certo que quanto mais estas anotações automáticas forem validadas, melhor. No entanto, há milhares destas anotações automatizadas, e ter validadores humanos através delas é um processo muito intensivo em recursos. Então, em vez disso, revemos uma amostra das anotações que são selecionadas para permitir-nos tirar conclusões sobre todas as anotações automáticas.
Durante a seleção da amostra, devem ser tidos em conta vários fatores. Para a análise de metadados, a amostra precisa cobrir diferentes campos de metadados com vários comprimentos de texto, considerar as pontuações de certeza que os algoritmos de anotações atribuíram às suas anotações (que sugerem o quão confiantes sentem que estão corretas), e assim por diante. Da mesma forma, para a análise de conteúdo, a amostra tem de manter uma representação equilibrada de itens com diferentes características de conteúdo, por exemplo, com diferentes cores e diferentes tipos de objetos.
Analisar o feedback humano para refinar os nossos enriquecimentos
O nosso objetivo é analisar a correlação entre os escores de confiança automáticos atribuídos pelos nossos algoritmos de anotação e julgamentos humanos, para que possamos estabelecer o que é um limiar adequado para considerar uma anotação automática como válida ou não. Por exemplo, se os seres humanos tendem a aceitar todas as anotações de amostra para as quais o modelo automatizado deu uma pontuação de confiança de 80% ou superior, podemos decidir que todas as anotações acima dessa pontuação podem ser automaticamente aceitas como válidas. Validações humanas também podem nos ajudar a avaliar e comparar a eficácia de diferentes algoritmos. Este último objetivo é o objetivo de uma campanha de crowdsourcing recentemente iniciada que visa avaliar os resultados produzidos por dois algoritmos de deteção de cores diferentes. Também pode ajudar-nos a avaliar os nossos modelos de anotações!
Por fim, queremos usar o feedback humano para melhorar a precisão dos próprios algoritmos automáticos. Embora os algoritmos de reciclagem que dependem de técnicas de aprendizagem automática não estejam entre os objetivos do projeto CRAFTED, o feedback humano pode ajudar-nos a ajustar os algoritmos para alcançar resultados de maior precisão.
Envolva-se
Se desejar ajudar-nos a avaliar os resultados produzidos pelos nossos algoritmos de deteção de cores, convidamo-lo a contribuir para uma das seguintes campanhas de crowdsourcing: