L'arricchimento svolge un ruolo fondamentale nelle attività di Europeana. Nel nostro contesto, l'arricchimento può essere definito come la generazione di metadati dai dati forniti dai nostri partner, aggiungendo un valore aggiunto ai dati che riceviamo. Utilizziamo la combinazione di metadati originali e arricchiti per indicizzare i nostri record e questo ci consente di creare funzionalità che consentono alle persone di cercare e sfogliare le nostre collezioni e ricevere consigli. Raggiungere l'arricchimento automatico utilizzando algoritmi di apprendimento automatico è uno degli obiettivi della strategia Europeana 2020-2025, che avvia progetti come Saint George on a Bike.
Il team R&Amp;D di Europeana sta esplorando come le tecniche di visione artificiale (sistemi che possono dare un senso ai dati visivi) possano migliorare l'arricchimento condotto da Europeana. Abbiamo deciso di avviare un progetto pilota sulla classificazione delle immagini, in cui costruiamo un modello in grado di classificare le immagini da oggetti del patrimonio culturale digitalizzati in un insieme di categorie predefinite. Riteniamo che un sistema addestrato con le categorie selezionate si rivelerebbe utile per arricchire le nostre collezioni.
Le tecniche di deep learning, basate su un certo tipo di modello matematico chiamato reti neurali, sono il metodo di scelta per questo tipo di problema. Per addestrare una rete neurale, abbiamo bisogno di ottenere un set di dati di allenamento contenente una grande quantità di immagini già classificate in categorie selezionate. In termini semplici: se mostriamo a un modello al computer immagini di dipinti e diciamo al modello che tutte queste immagini sono dipinti, alleniamo quel modello a riconoscere se le immagini che non ha mai visto sono un dipinto o meno.
I primi passi necessari per costruire il modello di classificazione delle immagini sono stati la selezione di un vocabolario di destinazione e la raccolta di una serie di dati di formazione utilizzando l'API Europeana Search; Scopri come abbiamo fatto qui sotto.
Definizione di un vocabolario per la classificazione
I vocabolari controllati sono insiemi di concetti predefiniti e identificati in modo univoco, che possono essere utilizzati per indicizzare i dati e renderli interoperabili. L'uso dei vocabolari nel recupero delle informazioni è un modo conveniente per organizzare e fare riferimento alle conoscenze.
In Europeana, utilizziamo concetti di vocabolari (identificati da Uniform Resource Identifiers, URI) come parte dei metadati per l'indicizzazione dei beni del patrimonio culturale. Per questo progetto, ci siamo concentrati su una selezione di concetti della Europeana Entity Collection, che hanno equivalenze con i concetti del Getty Art and Architecture Thesaurus (AAT). Questo vocabolario è stato originariamente raccolto per organizzare l'approvvigionamento di contenuti per le nostre collezioni tematiche. Abbiamo incluso 20 categorie come fotografie, dipinti, sculture, abbigliamento e gioielli.
Accesso ai dati tramite l'API Europeana Search
Una volta che abbiamo avuto il nostro vocabolario, abbiamo voluto accedere alle immagini appartenenti alle diverse categorie per addestrare il nostro modello. Lo abbiamo fatto attraverso l'API Europeana Search, una delle tante interfacce che ci consentono di recuperare i beni del patrimonio culturale esposti su europeana.eu. Data una query e un insieme di parametri, l'API di ricerca restituirà una risposta leggibile dalla macchina contenente i metadati degli oggetti risultanti. La risposta API serve i dati secondo il modello di dati Europeana.
Nella nostra impostazione, abbiamo considerato che c'era solo una categoria possibile per ogni immagine. Questo ci ha permesso di assemblare un set di dati annotati interrogando l'API di ricerca per le immagini corrispondenti ai diversi concetti nel nostro vocabolario e utilizzando questo concetto come etichetta. In questo modo abbiamo assemblato il set di dati automaticamente e non è stata necessaria alcuna annotazione manuale.
Poiché volevamo che il nostro set di dati seguisse i principi FAIR (trovabile, accessibile, interoperabile e riutilizzabile), abbiamo identificato in modo univoco sia i concetti che gli oggetti del patrimonio culturale recuperati e abbiamo utilizzato solo contenuti con licenza aperta. I metadati forniti dall'API di ricerca sono soggetti a una licenza aperta, mentre il contenuto dei beni del patrimonio culturale potrebbe essere soggetto a copyright. Per questo progetto pilota abbiamo considerato le immagini libere da copyright solo impostando il parametro di riutilizzabilità come aperto.
Nel nostro caso, abbiamo voluto recuperare oggetti indicizzati con i diversi concetti del vocabolario. Invece di utilizzare la versione leggibile umana dei concetti, abbiamo fatto una query per l'URI del concetto direttamente utilizzando il parametro skos_concept (uno dei parametri di ricerca dell'API).
Eravamo interessati a tenere traccia degli oggetti utilizzati per assemblare il nostro set di dati. Per ogni oggetto recuperato abbiamo memorizzato le informazioni rilevanti in un file CSV. Le immagini dovranno essere scaricate e memorizzate su disco per addestrare il modello di classificazione delle immagini.
Scopri di più
Il set di dati di formazione delle immagini può ora essere utilizzato per la costruzione di un modello di classificazione delle immagini che produrrà uno dei concetti del vocabolario dato un'immagine di input. Stiamo pianificando di continuare il nostro lavoro valutando se questo set di dati contiene informazioni sufficienti per addestrare un modello di classificazione delle immagini e valutare se il modello risultante è adatto per l'arricchimento automatico. Condivideremo gli aggiornamenti attraverso le notizie di Europeana Pro!
Speriamo che questo post incoraggi ingegneri e ricercatori interessati a sperimentare con il patrimonio culturale a utilizzare la nostra API di ricerca per assemblare set di dati per l'apprendimento automatico, e in particolare a utilizzare le nostre collezioni per la formazione e l'applicazione di algoritmi di visione artificiale! Sentiti libero di controllare il repository Github, dove puoi trovare i vocabolari utilizzati, i set di dati raccolti e il codice per raccogliere il set di dati e addestrare un modello di classificazione delle immagini. Non dimenticare di contattarci all'indirizzo [email protected] se hai domande, idee o esperienze da condividere!
Se sei interessato a saperne di più sull'IA e sul patrimonio culturale digitale, esplora il nostro tema sull'IA su Europeana Pro.