Een classificatiemodel met meerdere labels
Zoals in eerdere Pro-nieuwsberichten is verkend, hebben we bij de Europeana Foundation een pilot voor beeldclassificatie uitgevoerd, waarbij we een model voor beeldclassificatie met één label hebben getraind om onze collecties te verrijken. Het door ons ontwikkelde model was in staat om afbeeldingen te classificeren in categorieën uit onze doelwoordenschat, maar identificeerde slechts één aspect (of “label”) van elke afbeelding. Dus begonnen we het model te trainen om een afbeelding met meer dan één label te classificeren, zodat concepten als “foto” en “beeldhouwkunst” in hetzelfde beeld konden worden geïdentificeerd.
Om dit multilabel beeldclassificatiemodel te trainen, moesten we een trainingsdataset verzamelen met afbeeldingen met meerdere labels in hun metadata. We hebben gebruik gemaakt van de Europeana Search API door te zoeken naar objecten geïndexeerd met meer dan één concept uit onze woordenschat, wat resulteert in 9.000 objecten in totaal. Net als bij onze vorige inspanningen voor de indeling van één enkel etiket hebben we deze gegevensset niet beoordeeld, dus de kwaliteit van de etiketten hing af van de kwaliteit van eerdere verrijkingen.
In het geval van multilabelclassificatie bevatte de juiste metagegevens (of grondwaarheid) meer dan één label voor elke afbeelding. We hebben een convolutioneel neuraal netwerk getraind om de afbeeldingen te classificeren en vervolgens het resulterende model gebruikt op objecten die zijn verkregen uit de zoek-API. Hieronder ziet u enkele voorbeelden met hun voorspellingen, betrouwbaarheidsscores en interpreteerbaarheidskaarten.
Onze lessen
Uit onze experimenten hebben we geconcludeerd dat het model in staat is om meerdere relevante labels voor de gegeven afbeeldingen correct te identificeren. De multilabel-aanpak is nuttiger dan het gebruik van enkele labels, omdat het meerdere labels met een hoge mate van vertrouwen op elke afbeelding kan aanbrengen.
Ondanks de interessante resultaten is de prestatie van het resulterende model verre van perfect, en we kunnen dit toeschrijven aan verschillende factoren. Het belangrijkste is de relatief lage kwaliteit van de verzamelde dataset. We kwamen erachter dat veel van de opgehaalde afbeeldingen niet over de juiste metagegevens beschikken.
Bovendien werden de meeste gegevens die voor opleiding werden gebruikt, verstrekt door het Noorse DigitalMuseum. Dit betekent dat de opleidingsgegevens niet de volledige gegevensdistributie bij Europeana weergeven, waardoor het model vertekend is ten opzichte van de gegevens waarmee het is getraind. De vertekeningen van de opleidingsgegevens zullen zich vertalen in een gebrek aan generalisatie voor de rest van de beelden van Europeana. In eenvoudige termen zal het model goed presteren op afbeeldingen die vergelijkbaar zijn met die in de trainingsdataset, maar het zal mislukken als de afbeeldingen te verschillend zijn.
Over het algemeen zijn onze trainingsgegevens goed genoeg voor het model om enkele basispatronen te leren. Het model deed het goed ondanks de uitdagende instelling van het gebruik van gegevens met onjuiste labels. De kwaliteit van eerdere verrijkingen is echter niet geschikt om ze te gebruiken als trainingsgegevens voor het bouwen van een model om onze collecties te verrijken. Een oplossing hiervoor is het creëren van een trainingsdataset van hogere kwaliteit, om ervoor te zorgen dat ons model de juiste labels krijgt.
Toekomstige werkzaamheden: crowdsourcing
Na het trainen en evalueren van het multilabel classificatiemodel, hebben we geconcludeerd dat het toewijzen van meerdere labels aan de afbeeldingen uit onze collectie meer geschikt is dan ze te verrijken met een enkel label.
We overwegen de woordenschat uit te breiden door andere termen op te nemen die relevant zijn voor cultureel erfgoed. Wat nog belangrijker is, we zijn van plan om de trainingsdataset te herzien en uit te breiden, met als doel mogelijke vooroordelen en fouten te identificeren en te corrigeren. We willen ervoor zorgen dat ons model wordt gepresenteerd met de juiste labels, die naar verwachting aanzienlijk beter zullen presteren dan wanneer getraind met 'lawaaierige' labels. We hebben een crowdsourcingcampagne gelanceerd voor het bouwen van een hoogwaardige geannoteerde dataset met Zooniverse, en we verwelkomen bijdragen van onze gemeenschap.
Je kunt ons werk volgen in deze Github repository. We nodigen u ook uit om te experimenteren met dit Colab-notitieblok, waar u uw eigen vragen kunt stellen aan de Europeana Search API en het classificatiemodel met meerdere labels kunt toepassen. Neem gerust contact met ons op via [email protected] als u vragen of ideeën heeft!