Rikastuksella on keskeinen rooli Europeanan toiminnassa. Meidän kontekstissamme rikastaminen voidaan määritellä metadatan tuottamiseksi kumppaneidemme toimittamista tiedoista, mikä tuo lisäarvoa vastaanottamiimme tietoihin. Käytämme alkuperäisten ja rikastettujen metatietojen yhdistelmää tietueidemme indeksointiin, ja näin voimme rakentaa toimintoja, joiden avulla ihmiset voivat etsiä ja selata kokoelmiamme ja saada suosituksia. Automaattisen rikastuksen saavuttaminen koneoppimisen algoritmeilla on yksi Europeana-strategian 2020–2025tavoitteista, ja se käynnistää Saint George on a Bike -hankkeen kaltaisia hankkeita.
Europeanan R&D-tiimi tutkii, miten tietokonenäkötekniikat (järjestelmät, jotka voivat ymmärtää visuaalista dataa) voivat parantaa Europeanan toimintaa. Päätimme aloittaa kuvaluokittelupilotin, jossa rakennamme mallin, joka pystyy luokittelemaan digitoiduista kulttuuriperintökohteista otetut kuvat ennalta määriteltyihin luokkiin. Uskomme, että järjestelmä, joka on koulutettu valittujen kategorioiden kanssa, osoittautuisi hyödylliseksi kokoelmiemme rikastamisessa.
Syväoppimistekniikat, jotka perustuvat tietyntyyppiseen matemaattiseen malliin, jota kutsutaan neuroverkoiksi, ovat tämäntyyppisen ongelman valintamenetelmä. Neuroverkon kouluttamiseksi meidän on hankittava koulutusdatajoukko, joka sisältää suuren määrän kuvia, jotka on jo luokiteltu valittuihin luokkiin. Yksinkertaisesti sanottuna: Jos näytämme tietokonemallin kuvia maalauksista ja kerromme mallille, että kaikki nämä kuvat ovat maalauksia, koulutamme mallin tunnistamaan, ovatko kuvat, joita se ei ole koskaan nähnyt, maalauksia vai eivät.
Ensimmäisiä vaiheita kuvaluokitusmallin rakentamiseksi olivat kohdesanaston valitseminen ja koulutusaineiston kerääminen Europeana Search API -sovellusliittymän avulla. Katso, miten teimme tämän alla.
Luokittelusanaston määrittäminen
Kontrolloidut sanastot ovat ennalta määritettyjä ja yksilöllisesti tunnistettuja käsitteitä, joita voidaan käyttää tietojen indeksointiin ja niiden yhteentoimivuuteen. Sanastojen käyttö tiedonhaussa on kätevä tapa järjestää ja viitata tietoon.
Europeanassa käytämme kulttuuriperintökohteiden indeksointiin metadatana sanastojen käsitteitä (jotka yksilöidään yhtenäisillä resurssitunnuksilla, URI-tunnuksilla). Tässä hankkeessa keskityimme Europeana Entity -kokoelman käsitteisiin, joilla on vastaavuuksia Gettyn taide- ja arkkitehtuuritesauruksen (AAT) käsitteiden kanssa. Tämä sanasto kerättiin alun perin teemakokoelmiemme sisällön hankinnan järjestämistä varten. Mukana oli 20 kategoriaa, kuten valokuvia, maalauksia, veistoksia, vaatteita ja koruja.
Pääsy tietoihin Europeana Search API:n avulla
Kun meillä oli sanastoa, halusimme päästä käsiksi eri kategorioihin kuuluviin kuviin mallimme kouluttamiseksi. Teimme tämän Europeana Search API -rajapinnan kautta, joka on yksi monista rajapinnoista, joiden avulla voimme hakea europeana.eu-sivustolla esillä olevia kulttuuriperintökohteita. Haku-API palauttaa kyselyn ja parametrien joukon perusteella koneellisesti luettavan vastauksen, joka sisältää tuloksena olevien objektien metatiedot. API-vastaus palvelee Europeanan tietomallin mukaisia tietoja.
Asennuksessamme katsoimme, että kullekin kuvalle oli vain yksi mahdollinen luokka. Tämän ansiosta pystyimme kokoamaan selityksin varustetun aineiston kysymällä hakurajapinnasta kuvia, jotka vastaavat sanastomme eri käsitteitä, ja käyttämällä tätä käsitettä etikettinä. Näin kokosimme aineiston automaattisesti, eikä manuaalista huomautusta tarvittu.
Koska halusimme aineistomme noudattavan FAIR-periaatteita (löydettävä, saavutettava, yhteentoimiva ja uudelleenkäytettävä), tunnistimme ainutlaatuisesti sekä käsitteet että haetut kulttuuriperintökohteet ja käytimme vain avoimesti lisensoitua sisältöä. Hakurajapinnan tarjoama metadata on avoimen lisenssin alaista, kun taas kulttuuriperintökohteiden sisältö saattaa olla tekijänoikeuden alaista. Tämän pilotin osalta pidimme kuvia tekijänoikeudettomina vain asettamalla uudelleenkäytettävyysparametrin avoimeksi.
Meidän tapauksessamme halusimme hakea sanaston eri käsitteillä indeksoituja objekteja. Käsitteiden ihmisen luettavissa olevan version sijaan teimme kyselyn URI-käsitteestä suoraan käyttämällä skos_concept-parametria (yksi API:n hakuparametreista).
Olimme kiinnostuneita seuraamaan aineistomme kokoamisessa käytettyjä esineitä. Jokaisesta noudetusta objektista tallensimme asiaankuuluvat tiedot CSV-tiedostoon. Kuvat on lopulta ladattava ja tallennettava levylle kuvan luokittelumallin kouluttamiseksi.
Lue lisää
Kuvakoulutusaineistoa voidaan nyt käyttää sellaisen kuvaluokitusmallin rakentamiseen, joka tuottaa yhden sanaston käsitteistä syötettynä kuvana. Aiomme jatkaa työtämme arvioimalla, sisältääkö tämä aineisto riittävästi tietoa kuvaluokitusmallin kouluttamiseen ja soveltuuko tuloksena oleva malli automaattiseen rikastamiseen. Jaamme päivityksiä Europeana Pro -uutisten kautta!
Toivomme, että tämä viesti kannustaa kulttuuriperinnön kokeilemisesta kiinnostuneita insinöörejä ja tutkijoita käyttämään Search API -sovellusliittymäämme datajoukkojen kokoamiseen koneoppimista varten ja erityisesti käyttämään kokoelmiamme tietokonenäköalgoritmien kouluttamiseen ja soveltamiseen! Voit vapaasti tutustua Github-arkistoon, josta löydät käytetyt sanastot, kerätyt tietoaineistot ja koodin tietoaineiston keräämiseen ja kuvan luokittelumallin kouluttamiseen. Ota yhteyttä osoitteeseen [email protected], jos sinulla on kysyttävää, ideoita tai kokemuksia jaettavaksi!
Jos olet kiinnostunut saamaan lisätietoja tekoälystä ja digitaalisesta kulttuuriperinnöstä, tutustu Europeana Pro -sivuston tekoälyteemaan.