Bagātināšanai ir būtiska nozīme Europeana darbībās. Mūsu kontekstā bagātināšanu var definēt kā metadatu ģenerēšanu no mūsu partneru sniegtajiem datiem, pievienojot papildu vērtību mūsu saņemtajiem datiem. Savu ierakstu indeksēšanai mēs izmantojam oriģinālo un bagātināto metadatu kombināciju, un tas ļauj mums izveidot funkcijas, kas ļauj cilvēkiem meklēt un pārlūkot mūsu kolekcijas un saņemt ieteikumus. Automātiskas bagātināšanas panākšana, izmantojot mašīnmācīšanās algoritmus, ir viens no Europeana stratēģijas 2020.–2025. gadammērķiem, izraisot tādus projektus kā Saint George on a Bike.
Europeana R&D komanda pēta, kā datorredzes metodes (sistēmas, kas spēj uztvert vizuālos datus) var uzlabot Europeana bagātināšanu. Mēs nolēmām sākt attēlu klasifikācijas izmēģinājuma projektu, kurā mēs veidojam modeli, kas spēj klasificēt attēlus no digitalizētiem kultūras mantojuma objektiem iepriekš noteiktās kategorijās. Mēs uzskatām, ka sistēma, kas apmācīta izvēlētajās kategorijās, būtu noderīga, lai bagātinātu mūsu kolekcijas.
Dziļās mācīšanās metodes, kuru pamatā ir noteikta veida matemātiskais modelis, ko sauc par neironu tīkliem, ir šāda veida problēmas izvēles metode. Lai apmācītu neironu tīklu, mums ir jāiegūst apmācības datu kopa, kas satur lielu daudzumu attēlu, kuri jau ir klasificēti atlasītās kategorijās. Vienkārši sakot: ja mēs rādām datormodeļu gleznu attēlus un sakām modelim, ka visi šie attēli ir gleznas, mēs apmācām šo modeli atpazīt, vai attēli, ko tas nekad nav redzējis, ir glezna vai nav.
Pirmie soļi, kas nepieciešami, lai izveidotu attēlu klasifikācijas modeli, bija mērķa vārdu krājuma izvēle un apmācības datu kopas vākšana, izmantojot Europeana Search API; Izpētiet, kā mēs to izdarījām tālāk.
Klasifikācijas vārdnīcas definēšana
Kontrolētas vārdnīcas ir iepriekš definētu un unikāli identificētu jēdzienu kopas, ko var izmantot, lai indeksētu datus un padarītu tos sadarbspējīgus. Vārdnīcu izmantošana informācijas izguvē ir ērts veids, kā organizēt un salīdzināt zināšanas.
Europeana izmanto vārdnīcu jēdzienus (identificēti ar vienotiem resursu identifikatoriem jeb URI) kā daļu no metadatiem kultūras mantojuma objektu indeksēšanai. Šajā projektā mēs koncentrējāmies uz Europeana entītiju kolekcijas koncepciju izlasi, kas ir līdzvērtīga Getty Art and Architecture Thesaurus (AAT) koncepcijām. Šī vārdnīca sākotnēji tika apkopota, lai organizētu satura ieguvi mūsu tematiskajām kolekcijām. Mēs iekļāvām 20 kategorijas, piemēram, fotogrāfijas, gleznas, skulptūras, apģērbu un rotaslietas.
Piekļuve datiem, izmantojot Europeana meklēšanas API
Kad mums bija mūsu vārdnīca, mēs vēlējāmies piekļūt attēliem, kas pieder dažādām kategorijām, lai apmācītu mūsu modeli. Mēs to darījām, izmantojot lietojumprogrammu Europeana Search API, kas ir viena no daudzajām saskarnēm, kuras ļauj mums izgūt kultūras mantojuma objektus, kas izstādīti vietnē europeana.eu. Ņemot vērā vaicājumu un parametru kopumu, meklēšanas API atgriezīs mašīnlasāmu atbildi, kas satur iegūto objektu metadatus. IPI atbilde kalpo datiem saskaņā ar Europeana datu modeli.
Mūsu iestatījumos mēs uzskatījām, ka katram attēlam ir tikai viena iespējamā kategorija. Tas ļāva mums apkopot anotētu datu kopu, meklējot meklēšanas API attēlus, kas atbilst dažādiem jēdzieniem mūsu vārdnīcā, un izmantojot šo jēdzienu kā etiķeti. Šādā veidā mēs automātiski apkopojām datu kopu, un manuāla anotācija nebija nepieciešama.
Tā kā mēs vēlējāmies, lai mūsu datu kopa atbilstu FAIR (atrodams, pieejams, sadarbspējīgs un atkalizmantojams) principiem, mēs unikāli identificējām gan jēdzienus, gan izgūtos kultūras mantojuma objektus, un mēs izmantojām tikai atklāti licencētu saturu. Metadatiem, ko apkalpo Search API, ir atvērta licence, savukārt uz kultūras mantojuma objektu saturu var attiekties autortiesības. Šim izmēģinājuma projektam mēs uzskatījām, ka attēliem nav autortiesību, tikai nosakot atkalizmantojamības parametru kā atvērtu.
Mūsu gadījumā mēs vēlējāmies izgūt objektus, kas indeksēti ar dažādiem vārdnīcas jēdzieniem. Tā vietā, lai izmantotu jēdzienu cilvēklasāmo versiju, mēs veicām vaicājumu par koncepcijas URI tieši, izmantojot skos_concept parametru (vienu no API meklēšanas parametriem).
Mēs bijām ieinteresēti sekot līdzi objektiem, kas tika izmantoti, lai apkopotu mūsu datu kopu. Par katru izgūto objektu mēs saglabājām attiecīgo informāciju CSV failā. Attēli galu galā būs jālejupielādē un jāsaglabā diskā, lai apmācītu attēlu klasifikācijas modeli.
Uzzināt vairāk
Attēlu apmācības datu kopu tagad var izmantot, lai izveidotu attēlu klasifikācijas modeli, kas izvadīs vienu no vārdnīcas jēdzieniem, ņemot vērā ievades attēlu. Mēs plānojam turpināt darbu, izvērtējot, vai šajā datu kopā ir pietiekami daudz informācijas attēlu klasifikācijas modeļa apmācībai un vai iegūtais modelis ir piemērots automātiskai bagātināšanai. Mēs dalīsimies ar jaunumiem, izmantojot Europeana Pro ziņas!
Mēs ceram, ka šis amats mudina inženierus un pētniekus, kas ir ieinteresēti eksperimentēt ar kultūras mantojumu, izmantot mūsu meklēšanas API, lai apkopotu datu kopas mašīnmācīšanās vajadzībām, un jo īpaši izmantot mūsu kolekcijas apmācībai un datorredzes algoritmu piemērošanai! Jūtieties brīvi apskatīt Github repozitoriju, kur jūs varat atrast izmantotās vārdnīcas, savāktās datu kopas un kodu datu kopas vākšanai un attēlu klasifikācijas modeļa apmācībai. Neaizmirstiet sazināties ar mums pa e-pastu [email protected], ja jums ir jautājumi, idejas vai pieredze, ar ko dalīties!
Ja vēlaties uzzināt vairāk par MI un digitālo kultūras mantojumu, izpētiet mūsu MI tēmu vietnē Europeana Pro.