Berigelse af kulturarvsmetadata med bedre tags og beskrivelser gør det lettere for alle at søge og finde disse kulturarvsgenstande, hvilket betyder, at du finder det, du har brug for, hurtigere og lettere. De seneste fremskridt inden for IT og AI giver bemærkelsesværdige muligheder for automatisk berigelse af kulturarvsmetadata med minimale ressourcer. Det er dog stadig vigtigt at inddrage mennesker i dette arbejde. I CRAFTED-projektet tager vi håndværksarv som et casestudie for at skabe, implementere og teste en metode, der kombinerer algoritmer med menneskelig validering til berigelse af kulturarvsmetadata i stor skala.
Metoden, som vi skitserer nedenfor, består af fire hovedtrin: dataanalyse automatisk berigelse validering af berigninger foretaget af mennesker og raffinering af berigninger baseret på valideringsresultaterne. I hvert trin i denne proces kæmpede vi med en række afgørende spørgsmål. Hvilke former for berigelse er nyttige for forskellige typer data? Hvordan udvælger vi passende prøver til menneskelig validering? Hvordan kan vi fastsætte acceptable kvalitetstærskler for automatiske berigninger?
Analyse af data
At opnå en detaljeret forståelse af metadataene og indholdet i de samlinger, der er udvalgt til berigelse, samt at definere case-relevante berigelsesmål er et afgørende første skridt i fastlæggelsen af de krav, som vores værktøjer skal opfylde. Det er vigtigt at studere de forskellige sprog og semantik i hvert metadatafelt samt den måde, hvorpå deres værdier er struktureret (f.eks. når man ser på et felt, der formidler geografisk information, kan man finde ud af, at dets værdi ofte er struktureret i formatet "by / region"). På samme måde skal indholdets karakteristika undersøges for at identificere meningsfulde træk, der kan udledes heraf, under hensyntagen til aspekter som den tilgængelige billedopløsning og den måde, hvorpå objekter afbildes på billeder.
Automatisk berigelse
I CRAFTED-projektet har vi anvendt en række forskellige værktøjer til at analysere tekstmetadata og indhold i en lang række samlinger med forskellige karakteristika og berigelsesbehov. Til analyse af metadata brugte vi SAGE-platformen (Semantic Annotation and Generation of Enrichments), der er udviklet af Athens nationale tekniske universitet. Platformen er i stand til at analysere tekstmæssige metadata på forskellige sprog og identificere en bred vifte af sagsrelevante begreber (såsom materialer og teknikker), der er nævnt i metadataene. Det kan derefter forbinde dem med termer fra domænespecifikke online ordforråd, såsom Europeana Fashion thesaurus, der dækker moderelaterede begreber. Det kan også udføre mere generelt navngivet enhedsudtræk for at identificere organisationer, steder og personer og forbinde dem med Linked Open-videnbaser som Wikidata.
Sideløbende har vi afprøvet en række værktøjer, der analyserer billeder og videoer. Vi eksperimenterede med to hovedtilgange til farvedetektering: den første fremgangsmåde adskiller forgrunden fra baggrunden, hvorefter den forsøger at udtrække den detekterede forgrunds farve(r). Den anden tilgang gør i det væsentlige det samme, men bistås af en uddannet objektdetekteringsalgoritme. Vi forsøgte også at registrere og udtrække skriftlig tekst fra billeder ved hjælp af OCR (Optical Character Recognition). Endelig udtrak vi tekstudskrifter fra videoer med blandede resultater afhængigt af det talte sprog.
Validering af mennesker
I metodens tredje trin opfordres mennesker til at kontrollere resultaterne af det automatiserede anmærkningstrin og acceptere eller afvise dem. De menneskelige validatorer kan også tilføje nye anmærkninger, som den automatiske algoritme ikke kunne identificere.
Ganske vist, jo flere af disse automatiske anmærkninger er valideret, jo bedre. Der er dog tusindvis af disse automatiserede anmærkninger, og det er en meget ressourcekrævende proces at få menneskelige validatorer til at gennemgå dem. Så i stedet gennemgår vi en stikprøve af de anmærkninger, der er valgt for at give os mulighed for at drage konklusioner om alle automatiske anmærkninger.
En række faktorer skal tages i betragtning ved stikprøveudvælgelsen. Til metadataanalysen skal prøven dække forskellige metadatafelter med forskellige tekstlængder, overveje de sikkerhedsscorer, som annotationsalgoritmerne er tildelt til deres annotationer (hvilket tyder på, hvor sikre de føler sig på, at de er korrekte) osv. I forbindelse med indholdsanalysen skal stikprøven ligeledes have en afbalanceret repræsentation af elementer med forskellige indholdskarakteristika, f.eks. med forskellige farver og forskellige typer objekter.
Analyse af menneskelig feedback for at forfine vores berigelse
Vi tilstræber at analysere sammenhængen mellem de automatiske konfidensscorer, der tildeles af vores annotationsalgoritmer, og menneskelige vurderinger, så vi kan fastslå, hvad en passende tærskel er for at betragte en automatisk anmærkning som gyldig eller ej. For eksempel, hvis mennesker har en tendens til at acceptere alle prøveanmærkninger, for hvilke den automatiserede model gav en konfidensscore på 80% eller højere, kan vi beslutte, at alle anmærkninger over denne score automatisk kan accepteres som gyldige. Menneskelige valideringer kan også hjælpe os med at evaluere og sammenligne effektiviteten af forskellige algoritmer. Dette sidste mål er målet for en nyligt indledt crowdsourcing-kampagne, der har til formål at evaluere resultaterne fra to forskellige farvedetekteringsalgoritmer. Du kan også hjælpe os med at evaluere vores annotationsmodeller!
Endelig vil vi bruge menneskelig feedback til at forbedre nøjagtigheden af de automatiske algoritmer selv. Selvom omskoling af algoritmer, der er afhængige af maskinindlæringsteknikker, ikke er blandt målene for CRAFTED-projektet, kan menneskelig feedback hjælpe os med at justere algoritmerne i retning af at opnå resultater med højere nøjagtighed.
Bliv involveret
Hvis du ønsker at hjælpe os med at evaluere resultaterne af vores farvedetekteringsalgoritmer, inviterer vi dig til at bidrage til en af følgende crowdsourcing-kampagner: