O enriquecimento desempenha um papel fundamental nas atividades da Europeana. No nosso contexto, o enriquecimento pode ser definido como a geração de metadados a partir dos dados fornecidos pelos nossos parceiros, acrescentando valor extra aos dados que recebemos. Utilizamos a combinação de metadados originais e enriquecidos para indexar os nossos registos, o que nos permite criar funcionalidades que permitem que as pessoas pesquisem e naveguem nas nossas coleções e recebam recomendações. Alcançar o enriquecimento automático utilizando algoritmos de aprendizagem automática é um dos objetivos da Estratégia Europeana 2020-2025, desencadeando projetos como Saint George on a Bike.
A equipa de I&D da Europeana está a explorar a forma como as técnicas de visão computacional (sistemas que podem dar sentido aos dados visuais) podem melhorar as condutas de enriquecimento da Europeana. Decidimos iniciar um piloto sobre classificação de imagens, onde construímos um modelo que é capaz de classificar imagens de objetos de património cultural digitalizado em um conjunto de categorias predefinidas. Acreditamos que um sistema formado com as categorias selecionadas seria útil para enriquecer as nossas coleções.
Técnicas de aprendizagem profunda, baseadas em um determinado tipo de modelo matemático chamado redes neurais, são o método de escolha para este tipo de problema. Para treinar uma rede neural, precisamos obter um conjunto de dados de treinamento que contenha uma grande quantidade de imagens já classificadas em categorias selecionadas. Em termos simples: Se mostrarmos um modelo de computador de imagens de pinturas e dissermos ao modelo que todas estas imagens são pinturas, treinamos esse modelo para reconhecer se as imagens que nunca viu são ou não uma pintura.
Os primeiros passos necessários para criar o modelo de classificação de imagens foram selecionar um vocabulário-alvo e recolher um conjunto de dados de formação utilizando a API de pesquisa da Europeana; Vamos explorar como fizemos isto abaixo.
Definir um vocabulário para a classificação
Os vocabulários controlados são conjuntos de conceitos predefinidos e identificados de forma única, que podem ser utilizados para indexar dados e torná-los interoperáveis. A utilização de vocabulários na recuperação de informação é uma forma conveniente de organizar e referenciar o conhecimento.
Na Europeana, utilizamos conceitos de vocabulários (identificados por identificadores uniformes de recursos, URIs) como parte dos metadados para a indexação de objetos do património cultural. Para este projeto, concentrámo-nos numa seleção de conceitos da Europeana Entity Collection, que têm equivalências com conceitos do Getty Art and Architecture Thesaurus (AAT). Este vocabulário foi originalmente reunido para organizar o fornecimento de conteúdos para as nossas coleções temáticas. Incluímos 20 categorias como fotografias, pinturas, esculturas, roupas e joias.
Acesso aos dados através da API de pesquisa da Europeana
Uma vez que tínhamos nosso vocabulário, queríamos acessar imagens pertencentes às diferentes categorias para treinar nosso modelo. Fizemo-lo através da API Europeana Search, uma das muitas interfaces que nos permitem recuperar objetos do património cultural exibidos em europeana.eu. Dada uma consulta e um conjunto de parâmetros, a API de Pesquisa retornará uma resposta legível por máquina que contém os metadados dos objetos resultantes. A resposta API serve os dados de acordo com o Modelo de Dados Europeana.
Em nosso cenário, consideramos que havia apenas uma categoria possível para cada imagem. Isto permitiu-nos montar um conjunto de dados anotado consultando a API de pesquisa de imagens correspondentes aos diferentes conceitos do nosso vocabulário e utilizando este conceito como o rótulo. Desta forma, montamos o conjunto de dados automaticamente e nenhuma anotação manual foi necessária.
Uma vez que queríamos que o nosso conjunto de dados seguisse os princípios FAIR (encontrado, acessível, interoperável e reutilizável), identificámos de forma única tanto os conceitos como os objetos do património cultural recuperados, e utilizámos apenas conteúdos abertamente licenciados. Os metadados servidos pela API de pesquisa estão sob uma licença aberta, enquanto o conteúdo dos objetos do património cultural pode estar sujeito a direitos de autor. Para este piloto, só consideramos imagens livres de direitos autorais ao definir o parâmetro de reutilização como aberto.
No nosso caso, quisemos recuperar objetos indexados com os diferentes conceitos do vocabulário. Em vez de usar a versão humana legível dos conceitos, fizemos uma consulta para o conceito URI diretamente usando o parâmetro skos_concept (um dos parâmetros de pesquisa da API).
Estávamos interessados em acompanhar os objetos usados para montar nosso conjunto de dados. Para cada objeto recuperado, armazenamos informações relevantes num ficheiro CSV. As imagens terão eventualmente de ser descarregadas e armazenadas em disco para treinar o modelo de classificação de imagens.
Mais informações
O conjunto de dados de treinamento de imagem agora pode ser usado para construir um modelo de classificação de imagem que produzirá um dos conceitos do vocabulário dado uma imagem de entrada. Estamos a planear continuar o nosso trabalho avaliando se este conjunto de dados contém informações suficientes para treinar um modelo de classificação de imagem e avaliando se o modelo resultante é adequado para enriquecimento automático. Partilharemos atualizações através das notícias Europeana Pro!
Esperamos que este post encoraje os engenheiros e investigadores interessados em experimentar o património cultural a usar a nossa API de pesquisa para a montagem de conjuntos de dados para aprendizagem automática e, em particular, a usar as nossas coleções para treinar e aplicar algoritmos de visão computacional! Não hesite em consultar o repositório do Github, onde pode encontrar os vocabulários utilizados, os conjuntos de dados recolhidos e o código para recolher o conjunto de dados e treinar um modelo de classificação de imagens. Não se esqueça de nos contactar em [email protected] se tiver alguma dúvida, ideia ou experiência para partilhar!
Se estiver interessado em saber mais sobre a IA e o património cultural digital, explore o nosso tema IA na Europeana Pro.