AI kommer nu att vara väl insatt i kulturarvet tack vare det nya Saint George on a Bike-projektet som samordnas av Barcelona Supercomputing Center. Projektet har börjat träna maskininlärningsalgoritmer i kultur, symboler och historiska sammanhang i syfte att automatiskt generera rika metadata för hundratusentals bilder från olika europeiska kulturarvsförråd.
För att möjliggöra tillgång till samlingar av kulturarvsbilder behöver plattformar som Europeana metadata av hög kvalitet. Men mänskliga experter från bibliotek, arkiv och museer kan helt enkelt inte producera finkorniga beskrivningar för alla resurser som härrör från massiva digitaliseringsprogram. För att lindra denna flaskhals tittar forskare på att använda AI-teknik för att automatisera åtminstone en del av beskrivningsprocessen.
Men att träna AI för att vara medveten om kulturarvssammanhang är inte lika enkelt som att lära den att identifiera olika föremål i en modern bild. Saint George on a Bike finjusterar algoritmerna så att de "tänker" i sammanhang och tid.
”Den AI som vi utvecklar kommer att kunna avgöra om en målning visar Saint George på en häst eller en cykel”, säger Maria Cristina Marinescu, samordnare för projektet och senior forskare vid avdelningen för datortillämpningar inom vetenskap och teknik (CASE) vid BSC. ”Det här är inte så lätt som det låter eftersom formerna liknar varandra. Genom att träna den i olika kulturarvselement, bland annat det första utseendet på de avbildade föremålen och den period som målningen kommer från, skulle AI-algoritmen dra slutsatsen att en målning av Saint George från 1500-talet logiskt skulle avbilda en häst snarare än en cykel.”
Europeana kommer att fungera som den huvudsakliga testbädden för de metadataanrikningar som genereras av projektet. Antoine Isaac, R&D Manager på Europeana Foundation, säger: "Befintliga AI-verktyg tenderar att underprestera när de tillämpas på kulturarvssamlingar, eftersom de är utbildade på moderna dokument och material som inte är kulturarvsbaserade. Om Saint George on a Bike lyckas skapa datorseendeverktyg som korrekt känner igen våra sammanhang kommer Europeana att kunna stödja en rikare surfnings- och upptäcktsupplevelse för våra partners kultursamlingar.”
Läs mer
Saint George on a Bike-projektet håller webbseminarier den 9-10 september för att demonstrera projektets resultat och potential att anpassa automatiskt producerade beskrivningar av målningar till den tidsperiod då de skapades. Forskare inom data mining och data science med intresse för konst och kultur är välkomna att delta!