Het project Europeana Common Culture heeft tot doel een geharmoniseerde en gecoördineerde omgeving voor de nationale aggregators van Europeana te ontwikkelen en de kwaliteit van inhoud en metagegevens te verbeteren om de tevredenheid van de gebruikers te vergroten. Als onderdeel van het project hebben drie pilots (Metis Sandbox, de Linked Open Data Aggregator en 3D Content in Europeana) geëxperimenteerd met nieuwe benaderingen voor aggregatie die zijn getest door nationale aggregators (NA's) en gevalideerd met instellingen voor cultureel erfgoed (CHI's). De Metis Sandbox pilot werd geleid door Deutsche Digitale Bibliothek (DDB) en uitgevoerd in nauwe samenwerking met de Europeana Foundation.
Als lange tijd aggregator voor Europeana had de DDB praktische observaties en ervaring om naar de pilot te brengen. Het proces van het verkrijgen van DDB-gegevens gepubliceerd in Europeana duurde vaak lang (soms tot zes maanden), om verschillende redenen: de gegevens waren niet geldig volgens het Europeana Data Model (EDM) en moesten worden gecorrigeerd door de DDB of door de instelling voor cultureel erfgoed/tussenpersoon; of werd opgemerkt dat de kwaliteit van de gegevens slecht was en dat correcties van gegevens of kaarten nodig waren. Dit alles ging gepaard met heen en weer communicatie tussen het Data Publishing Services (DPS) Team van Europeana, de aggregator, soms een intermediaire aggregator, en de CHI. Deze lus moest meerdere keren worden herhaald totdat alles correct was, wat een enorme hoeveelheid tijd in beslag nam.
Dit leidde tot de vraag: wat als aggregators konden zien hoe de gegevens er in Europeana uitzagen zonder het DPS-team erbij te betrekken? Ze zouden correcties kunnen uitvoeren voordat ze de gegevens zelfs maar naar Europeana sturen. Het zou het potentieel hebben om alle aggregators te bevoordelen door het aantal stappen te verminderen dat nodig is om gegevens via Europeana te publiceren, evenals de to-and-fro-communicatie!
En zo werd de Metis Sandbox geboren.
Technische aspecten
De Metis Sandbox maakt de verwerking van sample datasets volgens de Metis workflow mogelijk. Van de invoer, validatie, transformatie, normalisatie en verrijking van gegevens tot de publicatie ervan worden stap voor stap de processen gereproduceerd die worden toegepast binnen Metis, de kerninfrastructuur van Europeana voor gegevensaggregatie. Het systeem rapporteert voor elke stap als er een fout wordt gemeld en biedt een link naar een voorbeeldomgeving aan het einde van het proces, zodat de gebruiker zijn gegevens in een kopie van Europeana kan zien. De gegevensuitvoer van het systeem bevat alle door Europeana gegenereerde automatische verrijkingen en technische metagegevens, alsook de kwaliteitsniveaus voor inhoud en metagegevens.
De DDB was de eerste die de pilot testte. En oh wat een vreugde was het! Het komt niet vaak voor dat de woorden 'gegevens' en 'vreugde' in dezelfde context te vinden zijn, maar door de gegevens samen met de inhouds- en metagegevenslaag te kunnen zien, was dit het geval. Vanaf het moment dat het werd getest, had de Metis Sandbox een directe impact op de verbetering van de gegevensworkflow van de DDB en de kwaliteit van de ingediende gegevens.
Het was toen tijd om andere aggregators van het Europeana Common Culture project te betrekken en meer feedback te krijgen over de Metis Sandbox. Verschillende nationale aankoopgroeperingen waren betrokken bij het testen en evalueren van het project en de resultaten waren zeer bemoedigend: 83% van de deelnemers vond het nuttig en gaf aan dat ze Metis Sandbox graag zouden gebruiken voor toekomstige leveringen aan Europeana. De meest gewaardeerde functies van de tool waren de berekening van de inhouds- en metagegevenslaag, gegevensvalidatie en de gedetailleerde fout-/waarschuwingsrapportage.
Wat staat er in de boeken voor de toekomst van Metis Sandbox?
Toekomstige ontwikkeling
De Metis Sandbox is, naast Metis, een van de pijlers van de in oktober gepubliceerde Aggregatiestrategie van Europeana. Voortbouwend op het proefproject dat tijdens het project is ontwikkeld, zal de Europeana Foundation het verder uitbreiden om samen met Metis een oplossing te bieden waarmee het publicatieproces in Europeana kan worden versneld, de digitale transformatie van aankoopgroeperingen en instellingen voor cultureel erfgoed kan worden ondersteund en de kwaliteit van de gegevens kan worden verbeterd. De publieke release van Metis Sandbox zal in het voorjaar van 2021 beschikbaar zijn.
Lees meer over het delen van gegevens met Europeana en lees onze Aggregatiestrategie.