Marco Rendina: Eirini, laten we bij de basis beginnen. Wat is crowdsourcing eigenlijk?
Eirini Kaldeli: Crowdsourcing is het proces van het verdelen van een taak onder een groep mensen, die meestal bijdragen via hun werk online. In sommige gevallen ontvangen contribuanten een materiële vergoeding; bij anderen is hun deelname vrijwillig, waarbij beloningen niet van belang zijn, zoals persoonlijke tevredenheid, culturele bijdrage of kennisverwerving. Binnen de culturele erfgoedsector wordt crowdsourcing al lang gebruikt om verschillende uitdagingen aan te pakken, van het verzamelen van inhoud en transcriptie tot het taggen van collecties en het opsporen van bevooroordeelde termen in de beschrijving van cultureel erfgoedobjecten. Afhankelijk van de aard van de taak kunnen deelnemers gespecialiseerde vaardigheden of kennis nodig hebben.
MR: Wat zijn de voordelen van crowdsourcing voor de culturele erfgoedsector?
EK: Een verantwoord en zinvol crowdsourcing-project kan wederzijdse voordelen opleveren voor instellingen voor cultureel erfgoed en deelnemers. In de eerste plaats moet crowdsourcing worden benaderd als een middel om burgers te betrekken bij erfgoedcollecties. Aan de ene kant hebben de deelnemers de mogelijkheid om te interageren met cultureel erfgoed en zich ermee te verbinden; nuttige informatie over items en onderwerpen op een speelse manier te leren; hun perspectieven en kennis te delen; mede vorm te geven aan de wijze waarop collecties worden gepresenteerd; en samenwerken met medeburgers in een participatieve ervaring. Anderzijds kunnen instellingen voor cultureel erfgoed de kwaliteit van hun collecties verbeteren en ze beter vindbaar en toegankelijk maken; het bewustzijn over hun cultureel erfgoed te vergroten; het bereiken van een nieuw publiek; en krijgen dieper inzicht in hoe hun collecties worden waargenomen door gemeenschappen.
MR: Spyros, kun je ons een paar woorden vertellen over het CrowdHeritage-platform waar je aan werkt in het kader van het AI4Culture-project?
Spyros Bekiaris: CrowdHeritage is een open platform voor het organiseren van online crowdsourcing campagnes die mensen mobiliseren om de kwaliteit van cultureel erfgoed collecties te verbeteren. Dit kan betrekking hebben op verschillende aspecten, van meertalige dekking tot semantische tagging. Deelnemers worden uitgenodigd om digitale collecties te verrijken, hetzij door nieuwe informatie te produceren (bv. door geolocaties toe te voegen), hetzij door automatische outputs van digitale instrumenten te evalueren en te valideren (bv. automatische vertalingen of detectie van bevooroordeelde taal).
CrowdHeritage is op grote schaal gebruikt om deelname aan onderwijsomgevingen en citizen science-omgevingen te stimuleren door gemeenschappen te betrekken, waaronder studenten en leerlingen, cultuurliefhebbers, professionals op het gebied van cultureel erfgoed en het grote publiek. Het platform is tot nu toe gebruikt om 40 crowdsourcing-campagnes te organiseren met meer dan 970 unieke bijdragers, die ongeveer 112.000 annotaties genereren en meer dan 16.000 evalueren.
MR: Crowdsourcing is geworteld in gedistribueerde handmatige inspanningen, terwijl AI4Culture gaat over AI-technologieën. Kunt u de relatie tussen het CrowdHeritage-platform en AI-tools uitleggen?
SB: CrowdHeritage is oorspronkelijk ontworpen om campagnes te ondersteunen die gebruikers uitnodigen om vanaf nul nieuwe annotaties toe te voegen. De laatste jaren zien we een toenemende interesse in het koppelen van CrowdHeritage aan AI-tools. Dergelijke hulpmiddelen bieden opmerkelijke mogelijkheden om de kwaliteit van digitale erfgoedcollecties automatisch op grote schaal en met minimale handmatige inspanningen te verbeteren, van optische tekenherkenning en machinevertaling tot automatische ondertiteling en beeldclassificatie.
Het gebruik van zuiver automatische methoden heeft echter ook een aantal problemen aan het licht gebracht die moeten worden aangepakt. We hebben manieren nodig om te beoordelen of de resultaten van AI-algoritmen nauwkeurig genoeg zijn voor onze normen en om te vergelijken hoe verschillende algoritmen zich gedragen op basis van specifieke gegevens en op basis van bepaalde criteria. In deze context is crowdsourcing een uitstekend middel om collectieve menselijke intelligentie te benutten en nuttige inzichten te verzamelen. De opgebouwde feedback kan ons helpen onjuiste automatische resultaten te filteren, geschikte filters toe te passen voor het handhaven van wat we beschouwen als resultaten van goede kwaliteit en bepaalde tekortkomingen van AI-algoritmen te herkennen. In dit samenspel met AI is het CrowdHeritage-platform ook nuttig voor het produceren van grondwaarheidsdatasets die verder kunnen worden benut om AI-instrumenten aan te passen aan gegevens over cultureel erfgoed.
MR: Eirini, kunt u enkele concrete voorbeelden geven van hoe CrowdHeritage is toegepast in combinatie met AI-tools?
EK: Ik kan voor velen zorgen! In het kader van het Europeana Translate-project voerden we een aantal campagnes uit waarbij deelnemers de resultaten evalueerden van een algoritme voor machinevertaling dat is opgeleid op basis van Europeana-metadata (ontwikkeld door onze AI4Culture-partner Pangeanic). Deze feedback heeft ons in staat gesteld de kwaliteit van de resultaten te verbeteren en heeft ook geleid tot het creëren van open datasets die zijn gepubliceerd in het ELRC-SHARE-register, dat taalbronnen in de hele EU verzamelt.
In een andere case study over het selecteren van optimale Super Resolution (SR) -modellen voor verschillende beeldtypen (die je heel goed kent, Marco!), hebben we een campagne opgezet in samenwerking met de European Fashion Heritage Association (EFHA), waar deelnemers werden gevraagd om een steekproef van afbeeldingen te vergelijken en te rangschikken die waren opgeschaald door verschillende SR-modellen. De resultaten van deze campagne stelden EFHA in staat om het beste SR-algoritme te selecteren en toe te passen, afhankelijk van de beeldkenmerken.
In het kader van het CRAFTED-project werd een reeks campagnes georganiseerd om kleuren te evalueren die automatisch worden geïdentificeerd door AI-kleurdetectiealgoritmen. De analyse van de verzamelde feedback leidde ons tot de conclusie dat de automatische algoritmen herhaaldelijk enkele specifieke afwezige kleuren identificeerden en enkele bestaande misten, iets dat ons hielp onze filteraanpak te verbeteren en de beste algoritme-instelling te selecteren.
In het DE-BIAS-project zijn we bezig met het opzetten van een reeks campagnes waarbij gemeenschappen termen inspecteren en evalueren die door een automatische biasdetectietool worden gemarkeerd als denigrerend taalgebruik.
MR: Dat is echt interessant, Eirini, maar zullen instellingen voor cultureel erfgoed het CrowdHeritage-platform kunnen gebruiken om hun eigen crowdsourcingcampagnes op te zetten?
EK: Natuurlijk! Via het AI4Culture-project is een nieuwe “campagne-editor” beschikbaar gesteld op CrowdHeritage, waarmee iedereen een crowdsourcingcampagne op het platform kan opzetten en uitvoeren. Iedereen die geïnteresseerd is, kan deze video-tutorial bekijken of de CrowdHeritage-documentatie bekijken om meer te weten te komen!
Meer informatie
In september 2024 zal het project een platform lanceren waar een reeks open instrumenten online beschikbaar zal worden gesteld, samen met bijbehorende documentatie en opleidingsmateriaal. Houd de projectpagina op Europeana Pro in de gaten voor meer details en blijf op de hoogte van het project LinkedIn en X account!