Het verrijken van metadata over cultureel erfgoed met betere tags en beschrijvingen maakt het voor iedereen gemakkelijker om deze cultureel erfgoedobjecten te zoeken en te vinden, wat betekent dat u sneller en gemakkelijker vindt wat u nodig hebt. Recente ontwikkelingen op het gebied van IT en AI bieden opmerkelijke mogelijkheden voor de automatische verrijking van metagegevens over cultureel erfgoed met minimale middelen. Het betrekken van mensen bij dit werk blijft echter belangrijk. In het CRAFTED-project nemen we ambachtelijk erfgoed als een casestudy om een methodologie te smeden, uit te voeren en te testen die algoritmen combineert met menselijke validatie voor de verrijking van metagegevens over cultureel erfgoed op grote schaal.
De methodologie, die we hieronder schetsen, bestaat uit vier hoofdstappen: gegevensanalyse; automatische verrijking; validatie van de verrijkingen door de mens; en het verfijnen van verrijkingen op basis van de validatieresultaten. In elk van de stappen in dit proces hebben we geworsteld met een aantal cruciale vragen. Welke soorten verrijking zijn nuttig voor verschillende soorten gegevens? Hoe selecteren we geschikte monsters voor menselijke validatie? Hoe kunnen we aanvaardbare kwaliteitsdrempels voor automatische verrijking vaststellen?
Gegevensanalyse
Het verkrijgen van een gedetailleerd inzicht in de metadata en inhoud in de collecties die zijn geselecteerd voor verrijking, evenals het definiëren van passende verrijkingsdoelstellingen, is een cruciale eerste stap bij het bepalen van de vereisten waaraan onze tools moeten voldoen. Het is belangrijk om de verschillende talen en semantiek van elk metadataveld te bestuderen, evenals de manier waarop hun waarden zijn gestructureerd (bijvoorbeeld wanneer wordt gekeken naar een veld dat ruimtelijke informatie overbrengt, kan men erachter komen dat de waarde ervan vaak is gestructureerd in het formaat “stad / regio”). Evenzo moeten de kenmerken van de inhoud worden onderzocht om zinvolle kenmerken te identificeren die daaruit kunnen worden afgeleid, rekening houdend met aspecten zoals de beschikbare beeldresolutie en de manier waarop objecten in afbeeldingen worden afgebeeld.
Automatische verrijking
In het CRAFTED-project hebben we een aantal verschillende tools toegepast om de tekstuele metadata en inhoud van een grote verscheidenheid aan collecties met verschillende kenmerken en verrijkingsbehoeften te analyseren. Voor de analyse van metadata hebben we het SAGE-platform (Semantic Annotation and Generation of Enrichments) gebruikt, ontwikkeld door de Nationale Technische Universiteit van Athene. Het platform is in staat om tekstuele metagegevens in verschillende talen te analyseren en een breed scala aan voor de zaak geschikte concepten (zoals materialen en technieken) te identificeren die in de metagegevens worden vermeld. Het kan ze vervolgens koppelen aan termen uit domeinspecifieke online vocabularia, zoals de Europeana Fashion-thesaurus die modegerelateerde concepten behandelt. Het kan ook meer algemene entiteitsextractie uitvoeren om organisaties, plaatsen en mensen te identificeren en deze te verbinden met Linked Open-kennisbanken zoals Wikidata.
Tegelijkertijd hebben we een aantal tools uitgeprobeerd die afbeeldingen en video's analyseren. We hebben geëxperimenteerd met twee hoofdbenaderingen voor kleurdetectie: de eerste benadering onderscheidt de voorgrond van de achtergrond, waarna wordt getracht de kleur(en) van de gedetecteerde voorgrond te extraheren. De tweede aanpak doet in wezen hetzelfde, maar wordt ondersteund door een getraind objectdetectiealgoritme. We hebben ook geprobeerd om geschreven tekst uit afbeeldingen te detecteren en te extraheren met behulp van OCR (Optical Character Recognition). Ten slotte hebben we tekstuele transcripties uit video's geëxtraheerd, met gemengde resultaten, afhankelijk van de gesproken taal.
Menselijke validatie
In de derde stap van de methodologie worden mensen uitgenodigd om de resultaten van de geautomatiseerde annotatiestap te controleren en ze te accepteren of af te wijzen. De menselijke validators kunnen ook nieuwe annotaties toevoegen die het automatische algoritme niet kon identificeren.
Toegegeven, hoe meer van deze automatische annotaties worden gevalideerd, hoe beter. Er zijn echter duizenden van deze geautomatiseerde annotaties en het is een zeer resource-intensief proces om menselijke validators door te laten gaan. Dus in plaats daarvan bekijken we een steekproef van de annotaties die is geselecteerd om ons in staat te stellen conclusies te trekken over alle automatische annotaties.
Bij de selectie van de steekproef moet rekening worden gehouden met een aantal factoren. Voor de metagegevensanalyse moet de steekproef verschillende metagegevensvelden met verschillende tekstlengten bestrijken, rekening houden met de zekerheidsscores die de annotatiealgoritmen aan hun annotaties hebben toegewezen (die suggereren hoe zelfverzekerd ze zijn dat ze correct zijn), enzovoort. Evenzo moet het monster voor de inhoudsanalyse een evenwichtige weergave houden van items met verschillende inhoudskenmerken, bijvoorbeeld met verschillende kleuren en verschillende soorten objecten.
Analyseren van menselijke feedback om onze verrijkingen te verfijnen
We willen de correlatie analyseren tussen de automatische betrouwbaarheidsscores die door onze annotatie-algoritmen worden toegekend en menselijke oordelen, zodat we kunnen vaststellen wat een geschikte drempel is om een automatische annotatie als geldig te beschouwen of niet. Als mensen bijvoorbeeld de neiging hebben om alle monsteraantekeningen te accepteren waarvoor het geautomatiseerde model een betrouwbaarheidsscore van 80% of hoger gaf, kunnen we besluiten dat alle aantekeningen boven die score automatisch als geldig kunnen worden geaccepteerd. Menselijke validaties kunnen ons ook helpen om de effectiviteit van verschillende algoritmen te evalueren en te vergelijken. Dit laatste doel is het doel van een recent geïnitieerde crowdsourcingcampagne die tot doel heeft de resultaten van twee verschillende kleurdetectiealgoritmen te evalueren. U kunt ons ook helpen bij het evalueren van onze annotatiemodellen!
Ten slotte willen we menselijke feedback gebruiken om de nauwkeurigheid van de automatische algoritmen zelf te verbeteren. Hoewel omscholingsalgoritmen die afhankelijk zijn van machine learning-technieken niet tot de doelstellingen van het CRAFTED-project behoren, kan menselijke feedback ons helpen de algoritmen aan te passen om resultaten met een hogere nauwkeurigheid te bereiken.
Doe mee
Als u ons wilt helpen de resultaten van onze kleurdetectie-algoritmen te evalueren, nodigen we u uit om bij te dragen aan een van de volgende crowdsourcing-campagnes: