„Europeanos“ veikloje labai svarbus sodrinimas. Mūsų kontekste papildymas gali būti apibrėžiamas kaip metaduomenų generavimas iš mūsų partnerių pateiktų duomenų, pridedant papildomos vertės mūsų gaunamiems duomenims. Savo įrašams indeksuoti naudojame originalių ir papildytų metaduomenų derinį, o tai leidžia sukurti funkcijas, leidžiančias žmonėms ieškoti ir naršyti mūsų rinkinius bei gauti rekomendacijas. Automatinio praturtėjimo užtikrinimas naudojant mašininio mokymosi algoritmus yra vienas iš 2020–2025 m. strategijos „Europeana“tikslų, kuriuo inicijuojami tokie projektai kaip „Saint George on a Bike“.
"Europeanos R&D" komanda tiria, kaip kompiuterinės regos metodai (sistemos, kurios gali prasmingi vizualiniai duomenys) gali pagerinti "Europeanos" praturtėjimą. Nusprendėme pradėti bandomąjį vaizdų klasifikavimo projektą, pagal kurį sukursime modelį, pagal kurį suskaitmenintų kultūros paveldo objektų vaizdus būtų galima suskirstyti į iš anksto nustatytas kategorijas. Manome, kad sistema, apmokyta pagal pasirinktas kategorijas, būtų naudinga praturtinant mūsų kolekcijas.
Giliojo mokymosi metodai, pagrįsti tam tikro tipo matematiniu modeliu, vadinamu neuroniniais tinklais, yra šio tipo problemos pasirinkimo metodas. Norint apmokyti neuroninį tinklą, turime gauti mokymo duomenų rinkinį, kuriame būtų daug vaizdų, jau suklasifikuotų į pasirinktas kategorijas. Paprastai tariant: jei rodome kompiuterinio modelio paveikslų vaizdus ir pasakome modeliui, kad visi šie vaizdai yra paveikslai, mokome tą modelį atpažinti, ar vaizdai, kurių jis niekada nematė, yra paveikslas, ar ne.
Pirmieji žingsniai, būtini vaizdo klasifikavimo modeliui sukurti, buvo pasirinkti tikslinį žodyną ir surinkti mokymo duomenų rinkinį naudojant „Europeana Search“ API; Sužinokite, kaip mes tai padarėme žemiau.
Klasifikavimo žodyno apibrėžimas
Kontroliuojami žodynai yra iš anksto nustatytų ir unikaliai identifikuotų sąvokų rinkiniai, kurie gali būti naudojami duomenims indeksuoti ir sąveikumui užtikrinti. Žodynų naudojimas informacijos paieškai yra patogus būdas organizuoti žinias ir jomis remtis.
Europeanoje naudojame sąvokas iš žodynų (identifikuotų universaliaisiais išteklių identifikatoriais, URI) kaip dalį kultūros paveldo objektų indeksavimo metaduomenų. Šiame projekte daugiausia dėmesio skyrėme Europeanos subjektų kolekcijos koncepcijoms, kurios yra lygiavertės Getty meno ir architektūros tezauro (AAT) koncepcijoms. Šis žodynas iš pradžių buvo renkamas organizuojant mūsų teminių kolekcijų turinio gavimą. Mes įtraukėme 20 kategorijų, tokių kaip nuotraukos, paveikslai, skulptūros, drabužiai ir juvelyriniai dirbiniai.
Prieiga prie duomenų naudojant „Europeana“ paieškos API
Kai turėjome savo žodyną, norėjome pasiekti vaizdus, priklausančius skirtingoms kategorijoms, kad galėtume mokyti mūsų modelį. Tai padarėme naudodamiesi „Europeana Search“ API – viena iš daugelio sąsajų, leidžiančių mums rasti kultūros paveldo objektus, rodomus svetainėje europeana.eu. Atsižvelgiant į užklausą ir parametrų rinkinį, paieškos API grąžins mašininio nuskaitymo atsakymą, kuriame bus pateikti gautų objektų metaduomenys. API atsakas naudojamas duomenims, gautiems pagal Europeanos duomenų modelį.
Mūsų aplinkoje mes manėme, kad kiekvienam vaizdui yra tik viena galima kategorija. Tai leido mums surinkti anotuotą duomenų rinkinį, užklausiant paieškos API vaizdų, atitinkančių skirtingas mūsų žodyno sąvokas, ir naudojant šią sąvoką kaip etiketę. Tokiu būdu mes automatiškai surinkome duomenų rinkinį ir nereikėjo rankiniu būdu anotuoti.
Kadangi norėjome, kad mūsų duomenų rinkinys atitiktų FAIR (surandamo, prieinamo, sąveikaus ir pakartotinai naudojamo) principus, mes unikaliai nustatėme tiek sąvokas, tiek rastus kultūros paveldo objektus, ir naudojome tik atvirai licencijuojamą turinį. Paieškos API pateikiamiems metaduomenims taikoma atvira licencija, o kultūros paveldo objektų turiniui gali būti taikomos autorių teisės. Šio bandomojo projekto atveju į vaizdus, kuriems netaikomos autorių teisės, atsižvelgėme tik nustatydami, kad pakartotinio naudojimo parametras yra atviras.
Mūsų atveju norėjome gauti objektus, indeksuotus skirtingomis žodyno sąvokomis. Užuot naudoję žmonėms suprantamą sąvokų versiją, pateikėme užklausą dėl koncepcijos URI tiesiogiai naudodami parametrą skos_concept (vienas iš API paieškos parametrų).
Mums buvo įdomu sekti objektus, naudojamus mūsų duomenų rinkiniui surinkti. Apie kiekvieną gautą objektą mes išsaugojome atitinkamą informaciją CSV faile. Galų gale vaizdus reikės atsisiųsti ir saugoti diske, kad būtų galima mokyti vaizdų klasifikavimo modelį.
Sužinokite daugiau
Vaizdo mokymo duomenų rinkinys dabar gali būti naudojamas kuriant vaizdo klasifikavimo modelį, kuris išves vieną iš žodyno sąvokų, kurioms pateikiamas įvesties vaizdas. Planuojame tęsti darbą, įvertindami, ar šiame duomenų rinkinyje yra pakankamai informacijos vaizdo klasifikavimo modeliui parengti, ir įvertindami, ar gautas modelis yra tinkamas automatiniam praturtėjimui. Naujausia informacija dalinsimės per Europeana Pro naujienas!
Tikimės, kad šis pranešimas skatina inžinierius ir tyrėjus, norinčius eksperimentuoti su kultūros paveldu, naudoti mūsų paieškos API, kad būtų galima surinkti duomenų rinkinius mašinų mokymuisi, ir ypač naudoti mūsų kolekcijas mokymams ir kompiuterinės regos algoritmų taikymui! Nedvejodami patikrinkite „Github“ saugyklą, kurioje galite rasti naudotus žodynus, surinktus duomenų rinkinius ir kodą duomenų rinkiniui rinkti ir vaizdo klasifikavimo modeliui mokyti. Nepamirškite susisiekti su mumis adresu [email protected], jei turite klausimų, idėjų ar patirties, kuria galėtumėte pasidalyti!
Jei norėtumėte daugiau sužinoti apie dirbtinį intelektą ir skaitmeninį kultūros paveldą, susipažinkite su mūsų dirbtinio intelekto tema platformoje „Europeana Pro“.