Obogatitev ima ključno vlogo pri dejavnostih Europeane. V našem kontekstu lahko obogatitev opredelimo kot ustvarjanje metapodatkov iz podatkov, ki jih posredujejo naši partnerji, s čimer dodamo dodatno vrednost podatkom, ki jih prejmemo. Za indeksiranje naših evidenc uporabljamo kombinacijo izvirnih in obogatenih metapodatkov, kar nam omogoča izgradnjo funkcionalnosti, ki ljudem omogočajo iskanje in brskanje po naših zbirkah ter prejemanje priporočil. Doseganje samodejne obogatitve z uporabo algoritmov strojnega učenja je eden od ciljev strategije Europeana za obdobje 2020–2025,ki sproža projekte, kot je Saint George on a Bike.
Ekipa Europeane R&D raziskuje, kako lahko tehnike računalniškega vida (sistemi, ki lahko osmislijo vizualne podatke) izboljšajo obogatitveno vedenje Europeane. Odločili smo se, da začnemo pilotni projekt o klasifikaciji slik, kjer bomo zgradili model, s katerim bomo lahko slike iz digitaliziranih predmetov kulturne dediščine razvrstili v sklop vnaprej določenih kategorij. Verjamemo, da bi se sistem, ki bi bil usposobljen z izbranimi kategorijami, izkazal za koristnega pri obogatitvi naših zbirk.
Tehnike globokega učenja, ki temeljijo na določeni vrsti matematičnega modela, imenovane nevronske mreže, so metoda izbire za to vrsto problema. Za usposabljanje nevronske mreže moramo pridobiti nabor učnih podatkov, ki vsebuje veliko število slik, ki so že razvrščene v izbrane kategorije. Preprosto povedano: če pokažemo računalniške vzorčne slike slik in modelu povemo, da so vse te slike slike, ta model usposobimo, da prepozna, ali so slike, ki jih ni nikoli videl, slika ali ne.
Prvi koraki, potrebni za oblikovanje modela za razvrščanje slik, so bili izbira ciljnega besednjaka in zbiranje nabora učnih podatkov z uporabo vmesnika Europeana Search API; Spodaj si oglejte, kako smo to naredili.
Opredelitev besedišča za razvrstitev
Nadzorovani besednjaki so sklopi vnaprej določenih in edinstveno opredeljenih konceptov, ki se lahko uporabljajo za indeksiranje podatkov in zagotavljanje njihove interoperabilnosti. Uporaba besedišča pri pridobivanju informacij je priročen način za organizacijo in sklicevanje na znanje.
V Europeani uporabljamo koncepte iz besednjakov (identificiranih z enotnimi identifikatorji virov, URI) kot del metapodatkov za indeksiranje predmetov kulturne dediščine. Pri tem projektu smo se osredotočili na izbor konceptov iz zbirke Europeana Entity Collection, ki so enakovredni konceptom iz tezavra Getty Art and Architecture Thesaurus (AAT). Ta besednjak je bil prvotno zbran za organizacijo pridobivanja vsebin za naše tematske zbirke. Vključili smo 20 kategorij, kot so fotografije, slike, skulpture, oblačila in nakit.
Dostop do podatkov z uporabo vmesnika Europeana Search API
Ko smo imeli svoj besednjak, smo želeli dostopati do slik, ki spadajo v različne kategorije, za usposabljanje našega modela. To smo storili prek vmesnika Europeana Search API, enega od številnih vmesnikov, ki nam omogočajo pridobivanje predmetov kulturne dediščine, prikazanih na spletišču europeana.eu. Glede na poizvedbo in niz parametrov bo iskalni API vrnil strojno berljiv odgovor, ki vsebuje metapodatke nastalih predmetov. Odgovor API služi podatkom po podatkovnem modelu Europeane.
V našem okolju smo menili, da obstaja samo ena možna kategorija za vsako sliko. To nam je omogočilo sestaviti obrazložen nabor podatkov s poizvedbo v iskalnem API-ju za slike, ki ustrezajo različnim konceptom v našem besednjaku, in uporabo tega koncepta kot oznake. Na ta način smo samodejno sestavili nabor podatkov in ročno označevanje ni bilo potrebno.
Ker smo želeli, da naš nabor podatkov sledi načelom FAIR (najdljiv, dostopen, interoperabilen in ponovno uporaben), smo edinstveno identificirali tako koncepte kot pridobljene predmete kulturne dediščine, uporabljali pa smo le odprto licencirane vsebine. Metapodatki, ki jih uporablja API za iskanje, so pod odprto licenco, medtem ko so lahko vsebine predmetov kulturne dediščine predmet avtorskih pravic. Za ta pilotni projekt smo slike brez avtorskih pravic obravnavali le z nastavitvijo parametra ponovne uporabe kot odprtega.
V našem primeru smo želeli pridobiti predmete, indeksirane z različnimi koncepti besedišča. Namesto da bi uporabili človeku berljivo različico konceptov, smo za koncept URI iskali neposredno z uporabo parametra skos_concept (eden od iskalnih parametrov API-ja).
Zanimalo nas je spremljanje predmetov, ki so bili uporabljeni za zbiranje našega nabora podatkov. Za vsak pridobljeni predmet smo shranili ustrezne informacije v datoteko CSV. Slike bo sčasoma treba prenesti in shraniti na disk za usposabljanje modela klasifikacije slik.
Izvedite več
Nabor podatkov za usposabljanje o slikah se zdaj lahko uporablja za izdelavo modela za razvrščanje slik, ki bo prikazal enega od konceptov besedišča, danega v vhodno sliko. Svoje delo nameravamo nadaljevati tako, da bomo ocenili, ali ta podatkovni niz vsebuje dovolj informacij za učenje modela za klasifikacijo slik, in ocenili, ali je nastali model primeren za samodejno obogatitev. Posodobitve bomo delili z novicami Europeane Pro!
Upamo, da to delovno mesto spodbuja inženirje in raziskovalce, ki se zanimajo za eksperimentiranje s kulturno dediščino, da uporabljajo naš API za iskanje za sestavljanje naborov podatkov za strojno učenje in zlasti za uporabo naših zbirk za usposabljanje in uporabo algoritmov računalniškega vida! Oglejte si skladišče Github, kjer lahko najdete uporabljene besednjake, zbrane nabore podatkov in kodo za nabiranje nabora podatkov ter učenje modela za razvrščanje slik. Če imate kakršna koli vprašanja, zamisli ali izkušnje, nam pišite na naslov [email protected].
Če želite izvedeti več o umetni inteligenci in digitalni kulturni dediščini, si oglejte temo o umetni inteligenci na Europeani Pro.