En flermærkeklassifikationsmodel
Som undersøgt i tidligere Pro-nyhedsindlæg har vi i Europeana Foundation kørt en pilotbilledklassifikation, hvor vi har trænet en enkeltbilledklassifikationsmodel for at berige vores samlinger. Den model, vi udviklede, var i stand til at klassificere billeder i kategorier fra vores målordforråd, men identificerede kun ét aspekt (eller "etiket") af hvert billede. Så vi begyndte at arbejde på at træne modellen til at klassificere et billede med mere end én etiket, så begreber som "fotografi" og "skulptur" kunne identificeres i det samme billede.
For at træne denne multilabel-billedklassifikationsmodel var vi nødt til at indsamle et træningsdatasæt, der indeholdt billeder med flere etiketter i deres metadata. Vi gjorde brug af Europeana Search API ved at søge efter objekter indekseret med mere end ét koncept fra vores ordforråd, hvilket resulterede i 9.000 objekter i alt. Som i forbindelse med vores tidligere klassificering af enkeltmærker gennemgik vi ikke dette datasæt, så kvaliteten af mærkerne afhang af kvaliteten af tidligere berigninger.
I tilfælde af klassificering med flere etiketter indeholdt de korrekte metadata (eller sandheden om jorden) mere end én etiket for hvert billede. Vi trænede et convolutionalt neuralt netværk til at klassificere billederne og brugte derefter den resulterende model på objekter opnået fra Search API. Du kan se nogle af eksemplerne med deres forudsigelser, tillidsscorer og fortolkningskort nedenfor.
Vores erfaringer
Fra vores eksperimenter har vi konkluderet, at modellen er i stand til korrekt at identificere flere relevante etiketter til de givne billeder. Den multilabel tilgang er mere nyttigt end at bruge enkelt etiketter, da det kan anvende flere etiketter til hvert billede med stor tillid.
På trods af de interessante resultater er præstationen af den resulterende model langt fra perfekt, og vi kan tilskrive dette til flere faktorer. Det vigtigste er den relativt lave kvalitet af det indsamlede datasæt. Vi fandt ud af, at mange af de billeder, der blev hentet, ikke har korrekte metadata.
Desuden blev de fleste af de data, der blev anvendt til uddannelse, leveret af det norske DigitalMuseum. Det betyder, at træningsdataene ikke afspejler hele datadistributionen hos Europeana, hvilket bevirker, at modellen er partisk i forhold til de data, den er blevet trænet med. De skævheder, der er i uddannelsesdataene, vil resultere i en mangel på generalisering for resten af billederne fra Europeana. I enkle vendinger vil modellen fungere godt på billeder, der ligner dem, der er indeholdt i træningsdatasættet, men det vil mislykkes, hvis billederne er for forskellige.
Generelt er vores træningsdata gode nok til, at modellen kan lære nogle grundlæggende mønstre. Modellen klarede sig godt på trods af den udfordrende indstilling med at bruge data med forkerte etiketter. Men kvaliteten af tidligere berigninger er ikke egnet til at bruge dem som træningsdata til at opbygge en model til at berige vores samlinger. En løsning på dette er at skabe et træningsdatasæt af højere kvalitet for at sikre, at vores model præsenteres med de rigtige mærker.
Fremtidigt arbejde: crowdsourcing
Efter træning og evaluering af multilabel-klassifikationsmodellen har vi konkluderet, at tildeling af flere etiketter til billederne fra vores samling er mere egnet end at berige dem med en enkelt etiket.
Vi overvejer at udvide ordforrådet ved at inkludere andre udtryk, der er relevante for kulturarven. Endnu vigtigere er det, at vi planlægger at gennemgå og udvide træningsdatasættet med det formål at identificere og korrigere mulige skævheder og fejl. Vi vil gerne sikre, at vores model præsenteres med de rigtige etiketter, som forventes at yde betydeligt bedre end når trænet med 'støjende' etiketter. Vi har lanceret en crowdsourcing-kampagne for at opbygge et kommenteret datasæt af høj kvalitet med Zooniverse, og vi glæder os over bidrag fra vores samfund.
Du kan følge vores arbejde i dette Github-arkiv. Vi opfordrer dig også til at eksperimentere med denne Colab-notesbog, hvor du kan foretage dine egne forespørgsler til Europeana Search API og anvende multilabelklassifikationsmodellen. Du er velkommen til at kontakte os på [email protected], hvis du har spørgsmål eller ideer!