Die Bereicherung spielt bei den Tätigkeiten von Europeana eine grundlegende Rolle. In unserem Kontext kann Anreicherung als Generierung von Metadaten aus den von unseren Partnern bereitgestellten Daten definiert werden, was den Daten, die wir erhalten, einen zusätzlichen Wert verleiht. Wir verwenden die Kombination aus ursprünglichen und angereicherten Metadaten für die Indizierung unserer Aufzeichnungen, und dies ermöglicht es uns, Funktionalitäten zu entwickeln, die es den Menschen ermöglichen, unsere Sammlungen zu durchsuchen und zu durchsuchen und Empfehlungen zu erhalten. Die automatische Anreicherung mithilfe von Algorithmen des maschinellen Lernens ist eines der Ziele der Europeana-Strategie 2020-2025, mit der Projekte wie Saint George on a Bike ausgelöst werden.
Das Forschungs- und Entwicklungsteam von Europeana untersucht, wie Computer-Vision-Techniken (Systeme, die visuelle Daten sinnvoll machen können) die Anreicherung verbessern können, die Europeana durchführt. Wir haben beschlossen, ein Pilotprojekt zur Bildklassifizierung zu starten, bei dem wir ein Modell entwickeln, mit dem Bilder aus digitalisierten Kulturerbeobjekten in eine Reihe vordefinierter Kategorien eingeteilt werden können. Wir glauben, dass ein System, das mit den ausgewählten Kategorien trainiert wurde, sich als nützlich erweisen würde, um unsere Sammlungen zu bereichern.
Deep-Learning-Techniken, die auf einer bestimmten Art von mathematischen Modellen basieren, die als neuronale Netze bezeichnet werden, sind die Methode der Wahl für diese Art von Problem. Um ein neuronales Netzwerk zu trainieren, müssen wir einen Trainingsdatensatz erhalten, der eine große Anzahl von Bildern enthält, die bereits in ausgewählte Kategorien unterteilt sind. In einfachen Worten: Wenn wir einem Computermodell Bilder von Gemälden zeigen und dem Modell sagen, dass alle diese Bilder Gemälde sind, trainieren wir dieses Modell, um zu erkennen, ob Bilder, die es noch nie gesehen hat, ein Gemälde sind oder nicht.
Die ersten Schritte zur Erstellung des Bildklassifizierungsmodells bestanden in der Auswahl eines Zielvokabulars und der Erhebung eines Trainingsdatensatzes unter Verwendung der Europeana Search API; Entdecken Sie, wie wir das unten gemacht haben.
Definieren eines Vokabulars für die Klassifikation
Kontrollierte Vokabulare sind Sätze von vordefinierten und eindeutig identifizierten Konzepten, mit denen Daten indexiert und interoperabel gemacht werden können. Die Verwendung von Vokabeln beim Informationsabruf ist eine bequeme Möglichkeit, Wissen zu organisieren und zu referenzieren.
Bei Europeana verwenden wir Konzepte aus Vokabularien (identifiziert durch Uniform Resource Identifiers, URIs) als Teil der Metadaten zur Indexierung von Kulturerbeobjekten. Für dieses Projekt haben wir uns auf eine Auswahl von Konzepten aus der Europeana Entity Collection konzentriert, die Äquivalente mit Konzepten aus dem Getty Art and Architecture Thesaurus (AAT) aufweisen. Dieses Vokabular wurde ursprünglich für die Organisation der Beschaffung von Inhalten für unsere thematischen Sammlungen gesammelt. Wir haben 20 Kategorien wie Fotografien, Gemälde, Skulpturen, Kleidung und Schmuck aufgenommen.
Zugriff auf Daten über die Europeana Search API
Sobald wir unser Vokabular hatten, wollten wir auf Bilder zugreifen, die zu den verschiedenen Kategorien gehören, um unser Modell zu trainieren. Wir haben dies über die Europeana Search API getan, eine der vielen Schnittstellen, über die wir auf europeana.eu ausgestellte Kulturerbeobjekte abrufen können. Bei einer Abfrage und einer Reihe von Parametern gibt die Such-API eine maschinenlesbare Antwort zurück, die die Metadaten der resultierenden Objekte enthält. Die API-Antwort dient den Daten nach dem Europeana-Datenmodell.
In unserer Einstellung dachten wir, dass es für jedes Bild nur eine mögliche Kategorie gibt. Dies ermöglichte es uns, einen kommentierten Datensatz zusammenzustellen, indem wir die Such-API nach Bildern abfragten, die den verschiedenen Konzepten in unserem Vokabular entsprechen, und dieses Konzept als Etikett verwendeten. Auf diese Weise haben wir den Datensatz automatisch zusammengestellt und es war keine manuelle Anmerkung erforderlich.
Da wir wollten, dass unser Datensatz den FAIR-Prinzipien (findbare, zugängliche, interoperable und wiederverwendbare) folgt, haben wir sowohl die Konzepte als auch die abgerufenen Kulturgüter eindeutig identifiziert und nur offen lizenzierte Inhalte verwendet. Die von der Such-API bereitgestellten Metadaten stehen unter einer offenen Lizenz, während der Inhalt der Kulturgüter möglicherweise dem Urheberrecht unterliegt. Für dieses Pilotprojekt haben wir nur Bilder als urheberrechtsfrei betrachtet, indem wir den Wiederverwendbarkeitsparameter als offen gesetzt haben.
In unserem Fall wollten wir Objekte abrufen, die mit den verschiedenen Konzepten des Vokabulars indiziert sind. Anstatt die menschenlesbare Version der Konzepte zu verwenden, haben wir eine Abfrage für die Konzept-URI direkt mit dem Parameter skos_concept (einer der Suchparameter der API) durchgeführt.
Wir waren daran interessiert, den Überblick über die Objekte zu behalten, die zur Zusammenstellung unseres Datensatzes verwendet wurden. Für jedes abgerufene Objekt haben wir relevante Informationen in einer CSV-Datei gespeichert. Die Bilder müssen schließlich heruntergeladen und auf der Festplatte gespeichert werden, um das Bildklassifizierungsmodell zu trainieren.
Erfahren Sie mehr
Der Bildtrainingsdatensatz kann nun zum Erstellen eines Bildklassifizierungsmodells verwendet werden, das eines der Konzepte des Vokabulars mit einem Eingabebild ausgibt. Wir planen, unsere Arbeit fortzusetzen, indem wir beurteilen, ob dieser Datensatz genügend Informationen für das Training eines Bildklassifizierungsmodells enthält und ob das resultierende Modell für die automatische Anreicherung geeignet ist. Wir werden Updates über Europeana Pro News teilen!
Wir hoffen, dass dieser Beitrag Ingenieure und Forscher, die daran interessiert sind, mit kulturellem Erbe zu experimentieren, ermutigt, unsere Such-API für die Zusammenstellung von Datensätzen für maschinelles Lernen zu verwenden und insbesondere unsere Sammlungen für das Training und die Anwendung von Computer Vision-Algorithmen zu verwenden! Schauen Sie sich das Github-Repository an, in dem Sie die verwendeten Vokabulare, die gesammelten Datensätze und den Code zum Sammeln des Datensatzes und zum Training eines Bildklassifizierungsmodells finden. Vergessen Sie nicht, uns unter [email protected] zu kontaktieren, wenn Sie Fragen, Ideen oder Erfahrungen haben, die Sie teilen können!
Wenn Sie mehr über KI und digitales Kulturerbe erfahren möchten, lesen Sie unser KI-Thema auf Europeana Pro.