Arricchire i metadati del patrimonio culturale con tag e descrizioni migliori rende più facile per chiunque cercare e trovare questi oggetti del patrimonio culturale, il che significa che troverai ciò di cui hai bisogno più rapidamente e più facilmente. I recenti progressi nell'IT e nell'IA offrono notevoli opportunità per l'arricchimento automatico dei metadati del patrimonio culturale con risorse minime. Tuttavia, coinvolgere gli esseri umani in questo lavoro rimane importante. Nel progetto CRAFTED, stiamo prendendo il patrimonio artigianale come un caso di studio al fine di forgiare, implementare e testare una metodologia che combina algoritmi con la convalida umana per l'arricchimento dei metadati del patrimonio culturale su larga scala.
La metodologia, che descriviamo di seguito, si compone di quattro fasi principali: analisi dei dati; arricchimento automatico; convalida degli arricchimenti da parte dell'uomo; e raffinazione degli arricchimenti sulla base dei risultati della convalida. In ciascuna delle fasi di questo processo, abbiamo affrontato una serie di questioni cruciali. Quali tipi di arricchimento sono utili per diversi tipi di dati? Come selezioniamo i campioni appropriati per la convalida umana? Come possiamo stabilire soglie di qualità accettabili per gli arricchimenti automatici?
Analisi dei dati
Acquisire una comprensione dettagliata dei metadati e dei contenuti delle collezioni selezionate per l'arricchimento, nonché definire gli obiettivi di arricchimento appropriati per i casi, è un primo passo fondamentale per determinare i requisiti che i nostri strumenti devono soddisfare. È importante studiare i diversi linguaggi e la semantica di ciascun campo di metadati, nonché il modo in cui i loro valori sono strutturati (ad esempio, quando si guarda un campo che trasmette informazioni spaziali si potrebbe scoprire che il suo valore è spesso strutturato nel formato "città / regione"). Allo stesso modo, le caratteristiche del contenuto devono essere esaminate per identificare le caratteristiche significative che possono essere derivate da esso, considerando aspetti come la risoluzione dell'immagine disponibile e il modo in cui gli oggetti sono raffigurati nelle immagini.
Arricchimento automatico
Nel progetto CRAFTED abbiamo applicato una serie di strumenti diversi per analizzare i metadati testuali e il contenuto di una grande varietà di collezioni con diverse caratteristiche ed esigenze di arricchimento. Per l'analisi dei metadati, abbiamo utilizzato la piattaforma SAGE (Semantic Annotation and Generation of Enrichments) sviluppata dall'Università Tecnica Nazionale di Atene. La piattaforma è in grado di analizzare i metadati testuali in diverse lingue e identificare un'ampia varietà di concetti appropriati al caso (come materiali e tecniche) menzionati nei metadati. Può quindi collegarli con termini di vocabolari online specifici del dominio, come il thesaurus Europeana Fashion che copre concetti legati alla moda. Può anche eseguire l'estrazione di entità denominate per scopi più generali per identificare organizzazioni, luoghi e persone e collegarle a basi di conoscenza Linked Open come Wikidata.
Parallelamente, abbiamo provato una serie di strumenti che analizzano immagini e video. Abbiamo sperimentato due approcci principali per il rilevamento del colore: il primo approccio distingue il primo piano dallo sfondo, dopo di che cerca di estrarre il colore o i colori del primo piano rilevato. Il secondo approccio essenzialmente fa lo stesso, ma è assistito da un algoritmo di rilevamento degli oggetti addestrato. Abbiamo anche cercato di rilevare ed estrarre testo scritto da immagini utilizzando OCR (Optical Character Recognition). Infine, abbiamo estratto trascrizioni testuali da video, con risultati contrastanti a seconda della lingua parlata.
Convalida umana
Nella terza fase della metodologia, gli esseri umani sono invitati a verificare i risultati della fase di annotazione automatizzata e ad accettarli o rifiutarli. I validatori umani possono anche aggiungere nuove annotazioni che l'algoritmo automatico non è riuscito a identificare.
Certo, più queste annotazioni automatiche vengono convalidate, meglio è. Tuttavia, ci sono migliaia di queste annotazioni automatizzate e avere validatori umani che le attraversano è un processo ad alta intensità di risorse. Quindi, invece, esaminiamo un campione delle annotazioni che viene selezionato per consentirci di trarre conclusioni su tutte le annotazioni automatiche.
Una serie di fattori deve essere presa in considerazione durante la selezione del campione. Per l'analisi dei metadati, il campione deve coprire diversi campi di metadati con varie lunghezze di testo, considerare i punteggi di certezza che gli algoritmi di annotazione assegnati alle loro annotazioni (che suggeriscono quanto si sentono sicuri di essere corretti), e così via. Allo stesso modo, per l'analisi dei contenuti, il campione deve mantenere una rappresentazione equilibrata di elementi con caratteristiche di contenuto diverse, ad esempio con colori diversi e diversi tipi di oggetti.
Analizzare il feedback umano per perfezionare i nostri arricchimenti
Il nostro obiettivo è analizzare la correlazione tra i punteggi di fiducia automatica assegnati dai nostri algoritmi di annotazione e i giudizi umani, in modo da poter stabilire quale sia la soglia appropriata per considerare valida o meno un'annotazione automatica. Ad esempio, se gli esseri umani tendono ad accettare tutte le annotazioni di esempio per le quali il modello automatizzato ha dato un punteggio di confidenza dell'80% o superiore, possiamo decidere che tutte le annotazioni al di sopra di tale punteggio possono essere automaticamente accettate come valide. Le convalide umane possono anche aiutarci a valutare e confrontare l'efficacia di diversi algoritmi. Quest'ultimo obiettivo è l'obiettivo di una campagna di crowdsourcing recentemente avviata che mira a valutare i risultati prodotti da due diversi algoritmi di rilevamento del colore. Puoi aiutarci a valutare anche i nostri modelli di annotazione!
Infine, vogliamo utilizzare il feedback umano per migliorare l'accuratezza degli algoritmi automatici stessi. Sebbene la riqualificazione degli algoritmi che si basano su tecniche di apprendimento automatico non sia tra gli obiettivi del progetto CRAFTED, il feedback umano può aiutarci a modificare gli algoritmi per ottenere risultati più accurati.
Partecipa
Se desideri aiutarci a valutare i risultati prodotti dai nostri algoritmi di rilevamento del colore, ti invitiamo a contribuire a una delle seguenti campagne di crowdsourcing: