Enriquecer los metadatos del patrimonio cultural con mejores etiquetas y descripciones hace que sea más fácil para cualquiera buscar y encontrar estos objetos del patrimonio cultural, lo que significa que encontrará lo que necesita más rápido y más fácilmente. Los recientes avances en TI e IA ofrecen oportunidades notables para el enriquecimiento automático de metadatos del patrimonio cultural con recursos mínimos. Sin embargo, la participación de los seres humanos en este trabajo sigue siendo importante. En el proyecto CRAFTED, estamos tomando el patrimonio artesanal como caso de estudio para forjar, implementar y probar una metodología que combine algoritmos con validación humana para el enriquecimiento de metadatos del patrimonio cultural a escala.
La metodología, que describimos a continuación, consta de cuatro pasos principales: análisis de datos; enriquecimiento automático; validación de los enriquecimientos por parte de los seres humanos; y refinar los enriquecimientos sobre la base de los resultados de la validación. En cada uno de los pasos de este proceso, nos enfrentamos a una serie de preguntas cruciales. ¿Qué tipos de enriquecimiento son útiles para diferentes tipos de datos? ¿Cómo seleccionamos las muestras apropiadas para la validación humana? ¿Cómo podemos establecer umbrales de calidad aceptables para los enriquecimientos automáticos?
Análisis de datos
Obtener una comprensión detallada de los metadatos y el contenido de las colecciones seleccionadas para el enriquecimiento, así como definir los objetivos de enriquecimiento apropiados para cada caso, es un primer paso crucial para determinar los requisitos que nuestras herramientas deben cumplir. Es importante estudiar los diferentes idiomas y la semántica de cada campo de metadatos, así como la forma en que se estructuran sus valores (por ejemplo, cuando se observa un campo que transmite información espacial, se puede descubrir que su valor a menudo se estructura en el formato de «ciudad / región»). Del mismo modo, las características del contenido deben examinarse para identificar las características significativas que se pueden derivar de él, teniendo en cuenta aspectos como la resolución de la imagen disponible y la forma en que los objetos se representan en las imágenes.
Enriquecimiento automático
En el proyecto CRAFTED hemos aplicado una serie de herramientas diferentes para analizar los metadatos textuales y el contenido de una gran variedad de colecciones con diferentes características y necesidades de enriquecimiento. Para el análisis de metadatos se utilizó la plataforma SAGE (Anotación Semántica y Generación de Enriquecimientos) desarrollada por la Universidad Técnica Nacional de Atenas. La plataforma es capaz de analizar metadatos textuales en diferentes idiomas e identificar una amplia variedad de conceptos apropiados para cada caso (como materiales y técnicas) mencionados en los metadatos. Luego puede vincularlos con términos de vocabularios en línea específicos del dominio, como el tesauro Europeana Fashion que cubre conceptos relacionados con la moda. También puede realizar una extracción de entidades con nombre de propósito más general para identificar organizaciones, lugares y personas, y conectarlos a bases de conocimiento Linked Open como Wikidata.
Paralelamente, probamos una serie de herramientas que analizan imágenes y videos. Experimentamos con dos enfoques principales para la detección del color: el primer enfoque distingue el primer plano del fondo, tras lo cual trata de extraer el color o colores del primer plano detectado. El segundo enfoque esencialmente hace lo mismo, pero es asistido por un algoritmo de detección de objetos entrenado. También tratamos de detectar y extraer texto escrito de imágenes utilizando OCR (Reconocimiento Óptico de Caracteres). Por último, extrajimos transcripciones textuales de videos, con resultados mixtos dependiendo del idioma hablado.
Validación humana
En el tercer paso de la metodología, se invita a los humanos a verificar los resultados del paso de anotación automatizada y aceptarlos o rechazarlos. Los validadores humanos también pueden agregar nuevas anotaciones que el algoritmo automático no pudo identificar.
Es cierto que cuantas más anotaciones automáticas se validen, mejor. Sin embargo, hay miles de estas anotaciones automatizadas, y tener validadores humanos que las revisen es un proceso muy intensivo en recursos. Así que en su lugar revisamos una muestra de las anotaciones que se selecciona para permitirnos sacar conclusiones sobre todas las anotaciones automáticas.
Durante la selección de la muestra deben tenerse en cuenta una serie de factores. Para el análisis de metadatos, la muestra necesita cubrir diferentes campos de metadatos con varias longitudes de texto, considerar las puntuaciones de certeza que los algoritmos de anotación asignaron a sus anotaciones (que sugieren cuán seguros se sienten de que son correctas), y así sucesivamente. Del mismo modo, para el análisis de contenido, la muestra debe mantener una representación equilibrada de elementos con diferentes características de contenido, por ejemplo, con diferentes colores y diferentes tipos de objetos.
Analizando la retroalimentación humana para refinar nuestros enriquecimientos
Nuestro objetivo es analizar la correlación entre los puntajes de confianza automáticos asignados por nuestros algoritmos de anotación y los juicios humanos, para que podamos establecer cuál es un umbral apropiado para considerar una anotación automática como válida o no. Por ejemplo, si los humanos tienden a aceptar todas las anotaciones de muestra para las cuales el modelo automatizado dio una puntuación de confianza del 80% o superior, podemos decidir que todas las anotaciones por encima de esa puntuación pueden aceptarse automáticamente como válidas. Las validaciones humanas también pueden ayudarnos a evaluar y comparar la efectividad de diferentes algoritmos. Este último objetivo es el objetivo de una campaña de crowdsourcing recientemente iniciada que tiene como objetivo evaluar los resultados producidos por dos algoritmos de detección de color diferentes. ¡También puede ayudarnos a evaluar nuestros modelos de anotación!
Por último, queremos utilizar la retroalimentación humana para mejorar la precisión de los propios algoritmos automáticos. Aunque el reciclaje de algoritmos que se basan en técnicas de aprendizaje automático no está entre los objetivos del proyecto CRAFTED, la retroalimentación humana puede ayudarnos a ajustar los algoritmos para lograr resultados de mayor precisión.
Involúcrate
Si desea ayudarnos a evaluar los resultados producidos por nuestros algoritmos de detección de color, le invitamos a contribuir a una de las siguientes campañas de crowdsourcing: