Enrichir les métadonnées du patrimoine culturel avec de meilleures balises et descriptions permet à quiconque de rechercher et de trouver plus facilement ces objets du patrimoine culturel, ce qui signifie que vous trouverez ce dont vous avez besoin plus rapidement et plus facilement. Les progrès récents de l'informatique et de l'IA offrent des possibilités remarquables d'enrichissement automatique des métadonnées du patrimoine culturel avec un minimum de ressources. Cependant, impliquer les humains dans ce travail reste important. Dans le cadre du projet CRAFTED, nous prenons le patrimoine artisanal comme une étude de cas afin de forger, de mettre en œuvre et de tester une méthodologie qui combine des algorithmes avec la validation humaine pour l’enrichissement des métadonnées du patrimoine culturel à grande échelle.
La méthodologie, que nous décrivons ci-dessous, se compose de quatre étapes principales: l'analyse des données; enrichissement automatique; validation des enrichissements par l'homme; et d’affiner les enrichissements en fonction des résultats de la validation. À chacune des étapes de ce processus, nous avons été confrontés à un certain nombre de questions cruciales. Quels types d'enrichissement sont utiles pour différents types de données? Comment sélectionnons-nous les échantillons appropriés pour la validation humaine? Comment établir des seuils de qualité acceptables pour les enrichissements automatiques?
Analyse des données
Acquérir une compréhension détaillée des métadonnées et du contenu des collections sélectionnées pour l'enrichissement, ainsi que définir des objectifs d'enrichissement appropriés au cas par cas, est une première étape cruciale pour déterminer les exigences auxquelles nos outils doivent répondre. Il est important d’étudier les différents langages et la sémantique de chaque champ de métadonnées, ainsi que la manière dont leurs valeurs sont structurées (par exemple, lorsque l’on regarde un champ qui transmet des informations spatiales, on peut découvrir que sa valeur est souvent structurée dans le format «ville / région»). De même, les caractéristiques du contenu doivent être examinées pour identifier les caractéristiques significatives qui peuvent en être dérivées, en tenant compte d'aspects tels que la résolution d'image disponible et la façon dont les objets sont représentés dans les images.
Enrichissement automatique
Dans le cadre du projet CRAFTED, nous avons utilisé un certain nombre d'outils différents pour analyser les métadonnées textuelles et le contenu d'une grande variété de collections présentant des caractéristiques et des besoins d'enrichissement différents. Pour l'analyse des métadonnées, nous avons utilisé la plateforme SAGE (Semantic Annotation and Generation of Enrichments) développée par l'Université technique nationale d'Athènes. La plate-forme est en mesure d'analyser les métadonnées textuelles dans différentes langues et d'identifier une grande variété de concepts appropriés au cas (tels que les matériaux et les techniques) mentionnés dans les métadonnées. Il peut ensuite les relier à des termes de vocabulaires en ligne spécifiques à un domaine, tels que le thésaurus Europeana Fashion qui couvre les concepts liés à la mode. Il peut également effectuer une extraction d'entités nommées à des fins plus générales pour identifier les organisations, les lieux et les personnes, et les connecter à des bases de connaissances ouvertes liées telles que Wikidata.
En parallèle, nous avons testé un certain nombre d'outils d'analyse d'images et de vidéos. Nous avons expérimenté deux approches principales pour la détection des couleurs: la première approche distingue le premier plan de l’arrière-plan, après quoi elle tente d’extraire la ou les couleurs du premier plan détecté. La deuxième approche fait essentiellement la même chose, mais est assistée par un algorithme de détection d'objets entraîné. Nous avons également essayé de détecter et d'extraire du texte écrit à partir d'images à l'aide de l'OCR (Optical Character Recognition). Enfin, nous avons extrait des transcriptions textuelles de vidéos, avec des résultats mitigés en fonction de la langue parlée.
Validation humaine
Dans la troisième étape de la méthodologie, les humains sont invités à vérifier les résultats de l'étape d'annotation automatisée et à les accepter ou à les rejeter. Les validateurs humains peuvent également ajouter de nouvelles annotations que l'algorithme automatique n'a pas réussi à identifier.
Certes, plus ces annotations automatiques sont validées, mieux c'est. Cependant, il existe des milliers de ces annotations automatisées, et les faire passer par des validateurs humains est un processus très gourmand en ressources. Nous passons donc en revue un échantillon des annotations sélectionnées pour nous permettre de tirer des conclusions sur toutes les annotations automatiques.
Un certain nombre de facteurs doivent être pris en considération lors de la sélection de l'échantillon. Pour l'analyse des métadonnées, l'échantillon doit couvrir différents champs de métadonnées avec différentes longueurs de texte, considérer les scores de certitude que les algorithmes d'annotation ont attribués à leurs annotations (qui suggèrent à quel point ils se sentent confiants qu'ils sont corrects), et ainsi de suite. De même, pour l’analyse du contenu, l’échantillon doit conserver une représentation équilibrée d’éléments présentant des caractéristiques de contenu différentes, par exemple, avec des couleurs et des types d’objets différents.
Analyser le feedback humain pour affiner nos enrichissements
Notre objectif est d'analyser la corrélation entre les scores de confiance automatiques attribués par nos algorithmes d'annotation et les jugements humains, afin d'établir quel est le seuil approprié pour considérer une annotation automatique comme valide ou non. Par exemple, si les humains ont tendance à accepter toutes les annotations de l'échantillon pour lesquelles le modèle automatisé a donné un score de confiance de 80% ou plus, nous pouvons décider que toutes les annotations au-dessus de ce score peuvent automatiquement être acceptées comme valides. Les validations humaines peuvent également nous aider à évaluer et comparer l'efficacité de différents algorithmes. Ce dernier objectif est l'objectif d'une campagne de crowdsourcing récemment lancée qui vise à évaluer les résultats produits par deux algorithmes de détection de couleurs différents. Vous pouvez également nous aider à évaluer nos modèles d'annotation!
Enfin, nous voulons utiliser la rétroaction humaine pour améliorer la précision des algorithmes automatiques eux-mêmes. Bien que les algorithmes de recyclage qui reposent sur des techniques d'apprentissage automatique ne figurent pas parmi les objectifs du projet CRAFTED, la rétroaction humaine peut nous aider à ajuster les algorithmes pour obtenir des résultats plus précis.
Impliquez-vous
Si vous souhaitez nous aider à évaluer les résultats produits par nos algorithmes de détection de couleurs, nous vous invitons à contribuer à l'une des campagnes de crowdsourcing suivantes: