Die Anreicherung von Kulturerbe-Metadaten mit besseren Tags und Beschreibungen erleichtert es jedem, diese Kulturerbe-Objekte zu suchen und zu finden, was bedeutet, dass Sie schneller und einfacher finden, was Sie brauchen. Jüngste Fortschritte in IT und KI bieten bemerkenswerte Möglichkeiten für die automatische Anreicherung von Metadaten des Kulturerbes mit minimalen Ressourcen. Die Einbeziehung des Menschen in diese Arbeit ist jedoch nach wie vor wichtig. Im CRAFTED-Projekt nehmen wir das handwerkliche Erbe als Fallstudie, um eine Methodik zu schmieden, umzusetzen und zu testen, die Algorithmen mit menschlicher Validierung für die Anreicherung von Metadaten des kulturellen Erbes in großem Maßstab kombiniert.
Die Methodik, die wir im Folgenden skizzieren, besteht aus vier Hauptschritten: Datenanalyse; automatische Anreicherung; Validierung der Anreicherung durch den Menschen; und Verfeinerung von Anreicherungen auf der Grundlage der Validierungsergebnisse. In jedem der Schritte in diesem Prozess haben wir uns mit einer Reihe wichtiger Fragen auseinandergesetzt. Welche Arten der Anreicherung sind für verschiedene Arten von Daten nützlich? Wie wählen wir geeignete Proben für die Validierung durch den Menschen aus? Wie können akzeptable Qualitätsschwellen für automatische Anreicherungen festgelegt werden?
Datenanalyse
Ein detailliertes Verständnis der Metadaten und Inhalte in den für die Anreicherung ausgewählten Sammlungen sowie die Festlegung von fallgerechten Anreicherungszielen ist ein entscheidender erster Schritt, um die Anforderungen zu bestimmen, die unsere Tools erfüllen müssen. Es ist wichtig, die verschiedenen Sprachen und Semantiken jedes Metadatenfeldes sowie die Art und Weise, wie ihre Werte strukturiert sind, zu studieren (wenn man beispielsweise ein Feld betrachtet, das räumliche Informationen vermittelt, könnte man herausfinden, dass sein Wert oft im Format „Stadt / Region“ strukturiert ist). Ebenso müssen die Eigenschaften des Inhalts untersucht werden, um aussagekräftige Merkmale zu identifizieren, die daraus abgeleitet werden können, wobei Aspekte wie die verfügbare Bildauflösung und die Art und Weise, wie Objekte in Bildern dargestellt werden, zu berücksichtigen sind.
Automatische Anreicherung
Im CRAFTED-Projekt haben wir eine Reihe verschiedener Werkzeuge eingesetzt, um die textlichen Metadaten und Inhalte einer Vielzahl von Sammlungen mit unterschiedlichen Merkmalen und Anreicherungsbedürfnissen zu analysieren. Für die Analyse der Metadaten nutzten wir die SAGE-Plattform (Semantic Annotation and Generation of Enrichments), die von der National Technical University of Athens entwickelt wurde. Die Plattform ist in der Lage, Textmetadaten in verschiedenen Sprachen zu analysieren und eine Vielzahl von fallgerechten Konzepten (wie Materialien und Techniken) zu identifizieren, die in den Metadaten erwähnt werden. Es kann sie dann mit Begriffen aus domänenspezifischen Online-Vokabularen verknüpfen, wie dem Europeana Fashion Thesaurus, der modebezogene Konzepte abdeckt. Es kann auch eine allgemeinere Extraktion benannter Entitäten durchführen, um Organisationen, Orte und Personen zu identifizieren und sie mit Linked Open-Wissensdatenbanken wie Wikidata zu verbinden.
Parallel dazu haben wir eine Reihe von Tools ausprobiert, die Bilder und Videos analysieren. Wir haben mit zwei Hauptansätzen zur Farbdetektion experimentiert: Der erste Ansatz unterscheidet den Vordergrund vom Hintergrund, woraufhin versucht wird, die Farbe(n) des erkannten Vordergrunds zu extrahieren. Der zweite Ansatz macht im Wesentlichen dasselbe, wird aber von einem trainierten Objekterkennungsalgorithmus unterstützt. Wir haben auch versucht, geschriebenen Text aus Bildern mit OCR (Optical Character Recognition) zu erkennen und zu extrahieren. Schließlich extrahierten wir textliche Transkripte aus Videos, mit gemischten Ergebnissen je nach gesprochener Sprache.
Validierung durch den Menschen
Im dritten Schritt der Methodik werden die Menschen aufgefordert, die Ergebnisse des automatisierten Anmerkungsschritts zu überprüfen und sie anzunehmen oder abzulehnen. Die menschlichen Validatoren können auch neue Anmerkungen hinzufügen, die der automatische Algorithmus nicht identifiziert hat.
Zugegeben, je mehr dieser automatischen Anmerkungen validiert werden, desto besser. Es gibt jedoch Tausende dieser automatisierten Anmerkungen, und menschliche Validatoren durchlaufen zu lassen, ist ein sehr ressourcenintensiver Prozess. Stattdessen überprüfen wir ein Beispiel der ausgewählten Anmerkungen, damit wir Rückschlüsse auf alle automatischen Anmerkungen ziehen können.
Bei der Stichprobenauswahl sind eine Reihe von Faktoren zu berücksichtigen. Für die Metadatenanalyse muss die Stichprobe verschiedene Metadatenfelder mit unterschiedlichen Textlängen abdecken, die Gewissheitswerte berücksichtigen, die die Anmerkungsalgorithmen ihren Anmerkungen zugewiesen haben (was darauf hindeutet, wie zuversichtlich sie sich fühlen, dass sie korrekt sind), und so weiter. Ebenso muss die Stichprobe für die Inhaltsanalyse eine ausgewogene Darstellung von Elementen mit unterschiedlichen Inhaltsmerkmalen, beispielsweise mit unterschiedlichen Farben und verschiedenen Objekttypen, beibehalten.
Analysieren von menschlichem Feedback, um unsere Anreicherungen zu verfeinern
Unser Ziel ist es, die Korrelation zwischen den automatischen Konfidenzwerten, die von unseren Anmerkungsalgorithmen zugewiesen werden, und menschlichen Urteilen zu analysieren, damit wir feststellen können, was ein geeigneter Schwellenwert ist, um eine automatische Anmerkung als gültig zu betrachten oder nicht. Wenn Menschen beispielsweise dazu neigen, alle Beispielanmerkungen zu akzeptieren, für die das automatisierte Modell einen Konfidenzwert von 80% oder höher ergab, können wir entscheiden, dass alle Anmerkungen über diesem Wert automatisch als gültig akzeptiert werden können. Humanvalidierungen können uns auch helfen, die Wirksamkeit verschiedener Algorithmen zu bewerten und zu vergleichen. Dieses letzte Ziel ist das Ziel einer kürzlich initiierten Crowdsourcing-Kampagne, die darauf abzielt, die Ergebnisse zweier verschiedener Farberkennungsalgorithmen zu bewerten. Sie können uns auch bei der Bewertung unserer Anmerkungsmodelle helfen!
Schließlich wollen wir menschliches Feedback nutzen, um die Genauigkeit der automatischen Algorithmen selbst zu verbessern. Obwohl Umschulungsalgorithmen, die auf Techniken des maschinellen Lernens beruhen, nicht zu den Zielen des CRAFTED-Projekts gehören, kann uns menschliches Feedback helfen, die Algorithmen zu optimieren, um Ergebnisse mit höherer Genauigkeit zu erzielen.
Beteiligen Sie sich
Wenn Sie uns helfen möchten, die Ergebnisse unserer Farberkennungsalgorithmen zu bewerten, laden wir Sie ein, an einer der folgenden Crowdsourcing-Kampagnen teilzunehmen: