Nyheder

Discovering Ukrainian folk art together: a human-in-the-loop crowdsourcing pilot

How can participatory research preserve cultural heritage at risk? How can we leverage the contribution of communities in higher education? And how can crowdsourcing and AI tools help enrich collections and make data less biased and more discoverable?

ved
Mariana Ziku (Web2Learn)
Katerina Zourou (Web2Learn)
Andreas Kouzelis (Web2Learn)

Læs videre for at få et indblik i et reproducerbart pilotprojekt, der kombinerede brugen af Europeana.eu-platformen og API'er, præuddannede AI-modeller, live-kode og semantisk datamodellering, menneskelige bidragydere på en crowdsourcingplatform, et biasbevidst tesaurusværktøj og datametrikker, hvilket førte til berigelse af en ukrainsk etnografisk samling på Europeana.eu gennem 55 000 anmærkningstiltag og næsten 6 000 nye metadatatags.

Borgerstyret beskyttelse af ukrainsk kulturarv

Siden 2025 har Web2Learn — sammen med universiteterne i Luxembourg, Letland, Kiev Taras Shevchenko og Europeana Foundation — samarbejdet om AISTER, et Erasmus+-projekt, der omhandler AI-baseret borgerdeltagelse i beskyttelsen af Ukraines kulturarv. Web2Learn bidrager med sin ekspertise inden for borgerdrevet innovation til projektet ved hjælp af open source-teknologier, der fremmer uddannelse og aktivt medborgerskab.

A painting of a woman in traditional Ukrainian attire with text about annotating Ukrainian folk art.

HITL Crowdsourcing Pilot Plakat af Web2Learn inkorporerer Folk Painting "Portræt af en pige" som tilskrevet ovenfor, indarbejdet i den nuværende sammensætning med yderligere tilladelse fra rettighedshaveren.

AISTER-konsortiet har planlagt en række workshopper med deltagelse af forskere, studerende og unge fagfolk i hele projektets varighed. Fem workshopper under ledelse af Web2Learn online og på stedet på Letlands Universitets bibliotek gav mulighed for at gennemføre et pilotprojekt: teste en menneske-i-sløjfe-workflow for at berige digitale samlinger af billeder gennem crowdsourcing og AI-værktøjer og opfordre workshopdeltagerne til at engagere sig i ukrainsk etnografisk arv og blive aktive bidragydere ved at berige og validere AI-genererede beskrivelsestags.

Pilotprojektet blev udformet som en åben og reproducerbar ressource med detaljeret dokumentation for at lette forskning og uddannelse inden for digital humaniora og stilles frit til rådighed for forskere, studerende og lærere samt til kreativ genbrug.

Ukrainsk folkekunst på Europeana.eu

I 2025 offentliggjorde Krovets Online Museum of Traditional Art of Ukraine, som har været i drift siden 2014 takket være museets grundlæggeres frivillige indsats, et datasæt på Europeana.eu gennem aggregatoren MUSEU, som omfatter 3 840 genstande af etnografisk arv, herunder traditionelle kostumer, tekstilhåndværk, folkekunst, materialekultur og fotografier.

De billeder, der blev brugt til piloten, stammer fra denne etnografiske samling. Som led i pilotprojektet blev der offentliggjort et galleri med ukrainsk folkekunst på Europeana.eu, der giver adgang til museets samling af folkekunst, som omfatter 312 genstande, der er klassificeret som folkemalerier eller folkeikoner. De fleste malerier, der skildrer hverdagslivet på landet, folklore og religiøse temaer, stammer fra de centrale etnografiske regioner i Ukraine, Mellemøsten Podniprovia og Poltavshchyna, og dateres primært til det tidlige og midten af det tyvende århundrede.

Samlingen består primært af genrescener, landskaber og individuelle portrætter. Folkemalerierne danner visuelle fortællinger, der giver snapshots af landlige landskaber, religiøse traditioner, folkekunstmotiver og hverdags materiel kultur. Mange af detaljerne er nemme at lægge mærke til, når man ser på billederne, men ikke altid nemme at opdage gennem søgning.

Human-in-the-loop crowdsourcing-pilotprojektet

Pilotprojektet havde til formål at skabe et nyt lag af synlighed for ukrainsk folkekunst. Det udviklede en arbejdsgang, der kombinerer brugen af Europeana API'er, AI-baserede metoder til behandling af naturligt sprog og computersyn, Jupyter Notebook som et interaktivt arbejdsområde til reproducerbar kodning og etisk baseret databehandling sammen med offentligt engagement via crowdsourcingplatformen CrowdHeritage for at skabe søgbare, menneskeligt validerede og etisk vurderede beskrivelsestags som helhed.

For at komme i gang blev to Europeana API'er brugt til at hente gallerielementer og metadata, Europeana User Set API til at få adgang til brugergenererede gallerier, der er offentliggjort på Europeana, og Europeana Search API til metadatahentning af indhold, der er tilgået på Europeana, modelleret ved hjælp af Europeana Data Model (EDM). Derefter blev nye beskrivende anmærkninger genereret med AI-værktøjer, der anvendte open source-forududdannede AI-modeller og biblioteker i naturlig sprogbehandling og computersyn. De automatiserede anmærkninger blev genereret i Jupyter Notebooks og serialiseret i JSON-LD i henhold til webanmærkningsdatamodellen fra W3C (World Wide Web Consortium) for at understøtte deres import til CrowdHeritage crowdsourcing-platformen, der vedligeholdes af Datoptron.

I alt udviklede piloten otte Jupyter Notebooks, der fungerede som interaktive databehandlingsmiljøer, der tillader levende kodning og reproducerbarhed for at understøtte end-to-end-udførelsen af databehandlingstrinnene. Notesbøgerne blev implementeret i Google Colab for at muliggøre samarbejde og samredigering i realtid og derefter overført som et åbent lager på GitHub til versionsstyring, hvilket lettede gennemsigtigheden og sporbarheden af kollaborativ kodeoptimering. De dækker hele pilotens dataproces i sekventielle trin, som omfatter:

Trin 1: Automatisk generering af anmærkninger fra tekstmetadata (NLP-baseret)

1i. Hent vare-ID'erne i det offentliggjorte Galleri for ukrainsk folkekunst ved hjælp af Europeana User Set ΑPI og hent tekstmæssige metadata (f.eks. titler, emner) af artefakterne ved hjælp af Europeana Search API.

1ii. Generer automatiserede anmærkninger (beskrivelsestags) fra metadataene ved hjælp af teknikker til behandling af naturligt sprog (NLP), især regelbaseret heuristik og navngivet enhedsgenkendelse (NER) ved hjælp af open source Python-bibliotekets spaCy.

Trin 2: Automatisk anmærkning generering fra billeder (computer vision-baseret)

2i. Download Galleri artefakter som billeder ved hjælp af Europeana User Set API.

2ii. Generer beskrivende billedtekster ved hjælp af computervisionsteknikker med forududdannede AI-modeller, navnlig varianter af open source Qwen-modellerne — Qwen3-VL-2B-Instruct multimodal visuel sprogmodel (VLM) og Qwen3.5-4B storsprogsmodel (LLM).

2iii. Generer automatiske anmærkninger fra billedteksterne.

Trin 3: Udarbejdelse af automatiske anmærkninger til crowdsourced validering (JSON-LD-formatering)

3i. Formater alle genererede anmærkninger baseret på W3C-anmærkningsmodellen til direkte indtagelse i crowdsourcing-platformen CrowdHeritage.

3ii. Konverter de JSON-formaterede endelige annotationer til en maskinlæsbar CSV og kombiner alle annotationer fra de fem crowdsourcing-workshops.

Trin 4: Datakvalitetssikring og biasbevidst screening af menneskeligt validerede anmærkninger

4i. Kontroller de endelige anmærkninger mod skadelige, partiske eller omstridte termer i DE-BIAS Vocabulary gennem RDF-baserede tesaurusforespørgsler.

Screenshot of code for image captioning, with a painting of a man on a horse and a woman near a windmill below.

I løbet af fem crowdsourcing-workshops, der blev afholdt på stedet og online, gennemgik 70 deltagere, herunder forskere, universitetsstuderende og folkekunsteksperter AI-genererede anmærkninger, bekræftede nøjagtige tags, afviste vildledende dem gennem upvotes og downvotes og bidrog med deres egne yderligere anmærkninger.

Dataindsigt og etisk vurdering

De fleste billeder blev beriget med 15 til 20 nye beskrivende tags hver. Samlet set blev der registreret næsten 55.000 annotationshandlinger, herunder taggenerering, upvotes og downvotes. Resultatet åbner rigere veje til at opdage og engagere sig i ukrainsk folkekunst. Metrikkerne efter kampagnen viser, at de fleste AI-genererede anmærkninger blev accepteret som nøjagtige, og kun få blev afvist.

Disse fem AI-genererede tags modtog de højeste acceptrater:

  • ikon
  • maleri
  • mand
  • træer
  • kvinde.

Disse fem AI-genererede tags fik de højeste afvisningsprocenter:

  • sprækker
  • slid
  • skade
  • lille genstand
  • personale.

Anvendelse af en etisk konsekvensanalyse på de endelige anmærkninger blev behandlet som et vigtigt skridt i pilotprojektet. Der blev foretaget et andet lag af gennemgang for at identificere potentielt problematisk sprogbrug og styrke ansvarligheden. Screening af de menneskegodkendte tags mod DE-BIAS Ordforråd identificerede et udtryk, slave, som efterfølgende blev revideret til slavebundet person i henhold til anbefalingen. Ordforrådet blev anvendt som en etisk konsekvensanalyseforanstaltning forud for den endelige offentliggørelse af det åbne datasæt under hensyntagen til UNESCO's "Recommendation on the Ethics of Artificial Intelligence" (2022) og værktøjet "Ethical Impact Assessment" (2023).

Udviklingen af pilotprojektet og forståelsen af dets AI-relaterede etiske dimensioner blev også underbygget af AISTER-dataanalyseundersøgelsen, som kortlagde 22 internationale forskningsprojekter, der anvender kunstig intelligens og borgerdeltagelse til bevarelse af kulturarven i nødsituationer. Undersøgelsen klassificerede de udvalgte projekter ved hjælp af AISTER-klassifikationsrammen, som giver en systematisk kategorisering på tværs af 24 analytiske dimensioner, der er udformet til at analysere AI-drevne deltagelsesbaserede kulturarvsinitiativer. Rammedimensionerne omfatter kulturarvsområder, modellen for borgerdeltagelse (Shirk et al., 2012) og samarbejdsmodellen (Carayannis & Campbell, 2009) sammen med AI-specifikke dimensioner, herunder AI-teknologityper, modellen med rationelle agenter (Russell & Norvig, 2020, 4. udg.), den anvendte etiske AI-typologi (Morley et al., 2019), licenstyper og meget mere. Undersøgelsens dataindsigt offentliggøres som interaktive webvisualiseringer med åben adgang, der giver en komparativ udforskning af området. Pilotarbejdsgangen og resultaterne offentliggøres i et kommende konferencepapir (Ziku, Zourou, & Kouzelis, 2026).

Konklusioner

Pilotprojektet havde til formål at skabe en åben og reproducerbar vej for anvendelse af AI-værktøjer til at behandle data i stor skala kombineret med menneskelig deltagelse, etisk vurdering og dataindsigt for at støtte mere nøjagtige, ansvarlige, metrikdrevne og berigede måder at opdage ukrainsk folkekunst på. Nogle gange begynder den serendipitøse rejse ind i kulturarven med ordet indtastet i en søgefelt. Og nogle gange kan de rigtige ord bringe en ny samling frem i lyset.

De tre mest aktive bidragydere til crowdsourcing-kampagnen modtog et honorar samt henholdsvis guld-, sølv- og bronzebadges: Inna Kaika, studerende i engelsk sprog og udenlandsk litteratur, Mykola Gogol State University; Daria Markova, studerende i oversættelse ved det statslige tekniske universitet i Pryazovskyi Marko Lakhmatov, studerende i cybersikkerhed, Pryazovskyi State Technical University.

Inna reflekterede over sin deltagelse og sagde: "Ukrainsk kunst afspejler vores folks modstandsdygtighed og kreativitet, og det er vigtigere end nogensinde at dele den. Drevet af denne passion deltog jeg i kampagnen for at gøre kulturarven mere tilgængelig. Jeg nød især annotationsprocessen og udforskningen af den etnografiske samling. Det var en ære at bidrage til et projekt, der samler kunst og teknologi."

Undersøge og genbruge pilotressourcerne

Interesseret i at anvende lignende metoder til dine egne samlinger?

Anerkendelser

Vi vil gerne takke alle AISTER-projektpartnere og samarbejdspartnere, og især Yevgen Dmytruk på Krovets Museum, Eirini Kaldeli på CrowdHeritage og Datoptron, Hugo Manguinhas på Europeana Foundation og Uldis Zariņš og Sanita Reinsone på Letlands Universitet.

Udvalgte referencer

Opdag relateret indhold