Marco Rendina: Eirini, låt oss börja med grunderna. Vad är crowdsourcing?
Eirini Kaldeli: Crowdsourcing är processen att distribuera en uppgift till en grupp människor, som vanligtvis bidrar genom sitt arbete online. I vissa fall får bidragsgivarna materiell ersättning. I andra är deras deltagande frivilligt, med belöningar som är oväsentliga, såsom personlig tillfredsställelse, kulturellt bidrag eller kunskapsförvärv. Inom kulturarvssektorn har crowdsourcing länge använts för att ta itu med olika utmaningar, från innehållsinsamling och transkription till insamlingstaggning och upptäckt av partiska termer i beskrivningen av kulturarvsföremål. Beroende på uppgiftens art kan deltagarna behöva specialkunskaper eller specialkunskaper.
MR: Vilka är fördelarna med crowdsourcing för kulturarvssektorn?
EK: Ett ansvarsfullt och meningsfullt crowdsourcingprojekt kan medföra ömsesidiga fördelar för kulturarvsinstitutioner och kulturarvsdeltagare. Först och främst bör crowdsourcing användas som ett sätt att engagera medborgarna i kulturarvssamlingar. Dels har deltagarna möjlighet att interagera med kulturarvet och få kontakt med det. lära sig användbar information om föremål och ämnen på ett lekfullt sätt; dela med sig av sina perspektiv och kunskaper, tillsammans utforma hur samlingarna presenteras, och samarbeta med andra medborgare i en deltagande upplevelse. Å andra sidan kan kulturarvsinstitutioner förbättra kvaliteten på sina samlingar och göra dem mer upptäckbara och tillgängliga. öka medvetenheten om sina kulturarvstillgångar, nå ut till nya målgrupper, och få djupare insikt i hur deras samlingar uppfattas av samhällen.
MR: Spyros, kan du berätta några ord om CrowdHeritage-plattformen du arbetar med i samband med AI4Culture-projektet?
Spyros Bekiaris: CrowdHeritage är en öppen plattform för att organisera online-crowdsourcing-kampanjer som mobiliserar människor för att förbättra kvaliteten på kulturarvssamlingar. Detta kan gälla olika aspekter, från flerspråkig täckning till semantisk märkning. Deltagarna uppmanas att berika digitala samlingar, antingen genom att ta fram ny information (t.ex. lägga till geolokaliseringar) eller genom att utvärdera och validera automatiska utdata som produceras av digitala verktyg (t.ex. automatiska översättningar eller upptäckt av partiskt språk).
CrowdHeritage har använts i stor utsträckning för att stimulera deltagande i utbildningsmiljöer och medborgarvetenskapliga miljöer genom att engagera samhällen, inklusive studenter och elever, kulturälskare, kulturarvsarbetare och allmänheten. Plattformen har hittills använts för att organisera 40 crowdsourcing-kampanjer med mer än 970 unika bidragsgivare, generera cirka 112 000 kommentarer och utvärdera mer än 16 000.
MR: Crowdsourcing är rotad i distribuerad manuell ansträngning medan AI4Culture handlar om AI-teknik. Kan du förklara förhållandet mellan CrowdHeritage-plattformen och AI-verktyg?
SB: CrowdHeritage utformades ursprungligen för att stödja kampanjer som bjuder in användare att lägga till nya kommentarer från början. Under de senaste åren ser vi ett ökat intresse för att koppla ihop CrowdHeritage med AI-verktyg. Sådana verktyg erbjuder anmärkningsvärda möjligheter att automatiskt förbättra kvaliteten på digitala kulturarvssamlingar i stor skala och med minsta möjliga manuella ansträngning, från optisk teckenigenkänning och maskinöversättning till automatisk textning och bildklassificering.
Att tillgripa rent automatiska metoder har dock också avslöjat flera problem som måste hanteras. Vi behöver sätt att bedöma om resultaten av AI-algoritmer är tillräckligt exakta för våra standarder och att jämföra hur olika algoritmer beter sig på specifika data och baserat på vissa kriterier. I detta sammanhang är crowdsourcing ett utmärkt sätt att utnyttja kollektiv mänsklig intelligens och samla in användbara insikter. Den insamlade återkopplingen kan hjälpa oss att filtrera bort felaktiga automatiska resultat, använda lämpliga filter för att upprätthålla vad vi anser vara resultat av god kvalitet och upptäcka vissa brister i AI-algoritmer. I detta samspel med AI är CrowdHeritage-plattformen också användbar för att producera marksanningsdataset som kan utnyttjas ytterligare för att anpassa AI-verktyg i förhållande till kulturarvsdata.
MR: Eirini, kan du ge några konkreta exempel på hur CrowdHeritage har tillämpats i kombination med AI-verktyg?
EK: Jag kan ge många! Inom ramen för Europeana Translate-projektet genomförde vi ett antal kampanjer där deltagarna utvärderade resultaten av en maskinöversättningsalgoritm som utbildats i Europeana-metadata (utvecklad av vår AI4Culture-partner Pangeanic). Denna återkoppling gjorde det möjligt för oss att förbättra resultatens kvalitet och ledde också till skapandet av öppna dataset som publicerades på ELRC-SHARE-databasen, som samlar språkresurser i hela EU.
I en annan fallstudie om att välja optimala Super Resolution (SR) modeller för olika bildtyper (som du vet mycket väl, Marco!), satte vi upp en kampanj i samarbete med European Fashion Heritage Association (EFHA), där deltagarna ombads att jämföra och rangordna ett urval av bilder uppskalade av olika SR-modeller. Resultaten av denna kampanj gjorde det möjligt för EFHA att välja och tillämpa den bästa SR-algoritmen beroende på bildegenskaperna.
Inom ramen för CRAFTED-projektet anordnades en rad kampanjer för att utvärdera färger som automatiskt identifieras av AI-algoritmer för färgdetektering. Analysen av den insamlade feedbacken ledde oss till slutsatsen att de automatiska algoritmerna upprepade gånger identifierade några specifika frånvarande färger och missade några befintliga, något som hjälpte oss att förbättra vår filtreringsmetod och välja den bästa algoritminställningen.
I DE-BIAS-projektet håller vi på att skapa en serie kampanjer där samhällen kommer att inspektera och utvärdera termer som flaggas av ett automatiskt biasdetekteringsverktyg som innehåller nedsättande språk.
MR: Det är verkligen intressant, Eirini, men kommer kulturarvsinstitutioner att kunna använda CrowdHeritage-plattformen för att skapa egna crowdsourcingkampanjer?
EK: Självklart! Genom AI4Culture-projektet har en ny kampanjredigerare gjorts tillgänglig på CrowdHeritage, som gör det möjligt för vem som helst att starta och driva en crowdsourcingkampanj på plattformen. Den som är intresserad kan titta på denna video tutorial eller kolla in CrowdHeritage dokumentation för att lära sig mer!
Läs mer
I september 2024 kommer projektet att lansera en plattform där en uppsättning öppna verktyg kommer att göras tillgängliga online, tillsammans med tillhörande dokumentation och utbildningsmaterial. Håll ett öga på projektsidan på Europeana Pro för mer information och håll ögonen öppna på projektet LinkedIn och X-konto!