AI zal nu goed thuis zijn in cultureel erfgoed dankzij het nieuwe Saint George on a Bike-project dat wordt gecoördineerd door het Barcelona Supercomputing Center. Het project is begonnen met het trainen van algoritmen voor machinaal leren in cultuur, symbolen en historische contexten met als doel automatisch rijke metadata te genereren voor honderdduizenden afbeeldingen uit verschillende Europese bewaarplaatsen voor cultureel erfgoed.
Om toegang tot collecties van beelden van cultureel erfgoed mogelijk te maken, hebben platforms zoals Europeana metadata van hoge kwaliteit nodig. Menselijke experts uit bibliotheken, archieven en musea kunnen echter eenvoudigweg geen gedetailleerde beschrijvingen maken voor alle bronnen die het gevolg zijn van massale digitaliseringsprogramma's. Om dit knelpunt te verlichten, kijken onderzoekers naar het gebruik van AI-technologie om ten minste een deel van het beschrijvingsproces te automatiseren.
Maar AI trainen om zich bewust te zijn van de context van cultureel erfgoed is niet zo eenvoudig als het leren om verschillende objecten in een modern beeld te identificeren. Saint George on a Bike is bezig met het finetunen van de algoritmes zodat ze 'denken' in context en tijd.
“De AI die we ontwikkelen, zal kunnen zien of op een schilderij Saint George op een paard of op een fiets te zien is”, aldus Maria Cristina Marinescu, coördinator van het project en senior onderzoeker bij de afdeling Computer Applications in Science and Engineering (CASE) van BSC. “Dit is niet zo eenvoudig als het klinkt, omdat de vormen vergelijkbaar zijn. Door het te trainen in verschillende elementen van cultureel erfgoed, waaronder de eerste verschijning van de afgebeelde objecten en de periode waaruit het schilderij afkomstig is, zou het AI-algoritme concluderen dat een 16e-eeuws schilderij van Sint-Joris logischerwijs een paard zou uitbeelden in plaats van een fiets.”
Europeana zal dienen als de belangrijkste testbank voor de metagegevensverrijkingen die door het project worden gegenereerd. Antoine Isaac, R&D Manager bij Europeana Foundation, zegt: "Bestaande AI-tools presteren vaak ondermaats wanneer ze worden toegepast op collecties van cultureel erfgoed, omdat ze zijn opgeleid op basis van moderne documenten en materiaal dat niet op cultureel erfgoed is gebaseerd. Als Saint George on a Bike erin slaagt computervisie-instrumenten te ontwikkelen die onze contexten goed herkennen, zal Europeana een rijkere browse- en ontdekkingservaring voor de culturele collecties van onze partners kunnen ondersteunen.”
Meer informatie
Het Saint George on a Bike-project organiseert webinars op 9 - 10 september om de projectresultaten en het potentieel te demonstreren om automatisch geproduceerde beschrijvingen van schilderijen aan te passen aan de periode waarin ze werden gemaakt. Onderzoekers in datamining en data science met interesse in kunst en cultuur zijn van harte welkom!