Att berika kulturarvsmetadata med bättre taggar och beskrivningar gör det lättare för vem som helst att söka och hitta dessa kulturarvsobjekt, vilket innebär att du hittar det du behöver snabbare och enklare. Den senaste tidens framsteg inom it och AI erbjuder anmärkningsvärda möjligheter till automatisk berikning av kulturarvsmetadata med minimala resurser. Det är dock fortfarande viktigt att involvera människor i detta arbete. I CRAFTED-projektet tar vi hantverksarvet som en fallstudie för att skapa, genomföra och testa en metod som kombinerar algoritmer med mänsklig validering för att berika kulturarvsmetadata i stor skala.
Metoden, som vi beskriver nedan, består av fyra huvudsteg: dataanalys, Automatisk berikning. människors validering av berikningen, och raffinering av anrikningar på grundval av valideringsresultaten. I vart och ett av stegen i denna process brottades vi med ett antal avgörande frågor. Vilka typer av berikning är användbara för olika typer av data? Hur väljer vi lämpliga prover för mänsklig validering? Hur kan vi fastställa godtagbara kvalitetströsklar för automatisk anrikning?
Analys av uppgifter
Att få en detaljerad förståelse för metadata och innehåll i de samlingar som valts ut för anrikning, samt definiera lämpliga anrikningsmål, är ett viktigt första steg för att bestämma de krav som våra verktyg måste uppfylla. Det är viktigt att studera de olika språken och semantiken i varje metadatafält, liksom hur deras värden är strukturerade (om man till exempel tittar på ett fält som förmedlar rumslig information kan man få reda på att dess värde ofta är strukturerat i formatet ”stad/region”). På samma sätt måste innehållets egenskaper granskas för att identifiera meningsfulla egenskaper som kan härledas från det, med beaktande av aspekter som den tillgängliga bildupplösningen och hur föremål avbildas i bilder.
Automatisk anrikning
I CRAFTED-projektet har vi använt ett antal olika verktyg för att analysera textmetadata och innehåll i en mängd olika samlingar med olika egenskaper och anrikningsbehov. För analys av metadata använde vi SAGE-plattformen (Semantic Annotation and Generation of Enrichments) som utvecklats av Atens nationella tekniska universitet. Plattformen kan analysera textmetadata på olika språk och identifiera en mängd olika fallanpassade begrepp (t.ex. material och tekniker) som nämns i metadata. Det kan sedan länka dem med termer från domänspecifika online-vokabulär, till exempel Europeana Fashion tesaurus som täcker moderelaterade begrepp. Det kan också utföra mer generell namngiven entitetsextraktion för att identifiera organisationer, platser och personer och ansluta dem till länkade öppna kunskapsbaser som Wikidata.
Parallellt testade vi ett antal verktyg som analyserar bilder och videor. Vi experimenterade med två huvudsakliga metoder för färgdetektering: Den första metoden skiljer förgrunden från bakgrunden, varefter den försöker extrahera färgen eller färgerna på den detekterade förgrunden. Det andra tillvägagångssättet gör i huvudsak detsamma, men stöds av en utbildad objektdetekteringsalgoritm. Vi försökte också upptäcka och extrahera skriven text från bilder med hjälp av OCR (Optical Character Recognition). Slutligen extraherade vi textutskrifter från videor, med blandade resultat beroende på det talade språket.
Validering av människor
I det tredje steget i metoden uppmanas människor att kontrollera resultaten av det automatiska anteckningssteget och acceptera eller avvisa dem. De mänskliga validerarna kan också lägga till nya anteckningar som den automatiska algoritmen misslyckades med att identifiera.
Visserligen, ju fler av dessa automatiska anteckningar valideras, desto bättre. Det finns dock tusentals av dessa automatiska anteckningar, och att ha mänskliga validerare går igenom dem är en mycket resurskrävande process. Så istället granskar vi ett urval av de anteckningar som väljs för att vi ska kunna dra slutsatser om alla automatiska anteckningar.
Ett antal faktorer måste beaktas vid urvalet. För metadataanalysen måste provet täcka olika metadatafält med olika textlängder, överväga säkerhetspoängen som annoteringsalgoritmerna tilldelade sina anteckningar (vilket tyder på hur säkra de känner att de är korrekta) och så vidare. På samma sätt måste urvalet för innehållsanalysen hålla en balanserad representation av objekt med olika innehållsegenskaper, till exempel med olika färger och olika typer av objekt.
Analysera mänsklig feedback för att förfina våra berikningar
Vi strävar efter att analysera korrelationen mellan de automatiska konfidenspoängen som tilldelas av våra annotationsalgoritmer och mänskliga bedömningar, så att vi kan fastställa vad en lämplig tröskel är för att betrakta en automatisk annotation som giltig eller inte. Om människor till exempel tenderar att acceptera alla provanteckningar för vilka den automatiserade modellen gav en konfidenspoäng på 80% eller högre, kan vi besluta att alla anteckningar över den poängen automatiskt kan accepteras som giltiga. Mänskliga valideringar kan också hjälpa oss att utvärdera och jämföra effektiviteten hos olika algoritmer. Detta sista mål är målet för en nyligen initierad crowdsourcing-kampanj som syftar till att utvärdera resultaten från två olika färgdetekteringsalgoritmer. Du kan också hjälpa oss att utvärdera våra anteckningsmodeller!
Slutligen vill vi använda mänsklig feedback för att förbättra noggrannheten hos de automatiska algoritmerna själva. Även om omskolning av algoritmer som är beroende av maskininlärningstekniker inte är ett av målen för CRAFTED-projektet, kan mänsklig feedback hjälpa oss att justera algoritmerna mot att uppnå resultat med högre noggrannhet.
Engagera dig
Om du vill hjälpa oss att utvärdera resultaten som produceras av våra färgdetekteringsalgoritmer, uppmanar vi dig att bidra till en av följande crowdsourcingkampanjer: