Večnamenski klasifikacijski model
Kot je bilo raziskano v prejšnjih objavah v novicah Pro, v fundaciji Europeana izvajamo pilotni projekt za klasifikacijo slik, v okviru katerega usposabljamo model za klasifikacijo slik z eno samo oznako, da bi obogatili naše zbirke. Model, ki smo ga razvili, je lahko razvrstil slike v kategorije iz našega ciljnega besednjaka, vendar je opredelil le en vidik (ali „oznako“) vsake slike. Zato smo se začeli ukvarjati z usposabljanjem modela za razvrstitev slike z več kot eno oznako, da bi lahko na isti sliki prepoznali pojme, kot sta „fotografija“ in „skulptura“.
Za usposabljanje tega modela razvrstitve slik z več oznakami smo morali zbrati nabor učnih podatkov, ki vsebuje slike z več oznakami v njihovih metapodatkih. API za iskanje Europeana smo uporabili tako, da smo iskali predmete, indeksirane z več kot enim konceptom iz našega besednjaka, kar je skupaj 9 000 predmetov. Sodišče tega nabora podatkov ni pregledalo, tako kot pri prejšnjih razvrstitvah posameznih oznak, zato je bila kakovost oznak odvisna od kakovosti prejšnjih obogatitev.
V primeru razvrstitve z več oznakami so pravilni metapodatki (ali osnovna resnica) vsebovali več kot eno oznako za vsako sliko. Usposobili smo konvolucijsko nevronsko mrežo za razvrščanje slik in nato uporabili nastali model na predmetih, pridobljenih iz iskalnega API-ja. Nekaj primerov si lahko ogledate s svojimi napovedmi, ocenami zaupanja in zemljevidi interpretabilnosti spodaj.
Naša spoznanja
Iz naših poskusov smo ugotovili, da model lahko pravilno prepozna več ustreznih oznak za dane slike. Pristop z več oznakami je bolj koristen kot uporaba posameznih oznak, saj lahko za vsako sliko z visoko stopnjo zaupanja uporabi več oznak.
Kljub zanimivim rezultatom učinkovitost nastalega modela še zdaleč ni popolna in to lahko pripišemo več dejavnikom. Najpomembnejša je razmeroma nizka kakovost zbranega nabora podatkov. Sodišče je ugotovilo, da številne pridobljene slike nimajo pravilnih metapodatkov.
Poleg tega je večino podatkov, uporabljenih za usposabljanje, zagotovil norveški DigitalMuseum. To pomeni, da učni podatki ne odražajo celotne distribucije podatkov na Europeani, zaradi česar je model pristranski do podatkov, s katerimi se je usposabljal. Zaradi pristranskosti učnih podatkov ostale slike iz Europeane ne bodo posplošene. Preprosto povedano, model bo dobro deloval na slikah, podobnih tistim, ki jih vsebuje nabor učnih podatkov, vendar ne bo uspel, če so slike preveč različne.
Na splošno so naši podatki o usposabljanju dovolj dobri, da se model nauči nekaj osnovnih vzorcev. Model je bil uspešen kljub zahtevni nastavitvi uporabe podatkov z nepravilnimi oznakami. Vendar pa kakovost prejšnjih obogatitev ni primerna za njihovo uporabo kot učnih podatkov za izgradnjo modela za obogatitev naših zbirk. Rešitev za to je ustvariti kakovostnejši nabor učnih podatkov, da se zagotovi, da je naš model predstavljen s pravimi oznakami.
Prihodnje delo: črpanje iz množic
Po usposabljanju in evalvaciji večnamenskega klasifikacijskega modela smo ugotovili, da je dodelitev več etiket slikam iz naše zbirke primernejša kot obogatitev z eno samo etiketo.
Razmišljamo o razširitvi besedišča z vključitvijo drugih izrazov, pomembnih za kulturno dediščino. Še pomembneje je, da načrtujemo pregled in razširitev nabora učnih podatkov, da bi ugotovili in popravili morebitne pristranskosti in napake. Želimo zagotoviti, da je naš model predstavljen s pravimi oznakami, ki naj bi delovale bistveno bolje kot pri usposabljanju z "hrupnimi" oznakami. Začeli smo kampanjo crowdsourcinga za izgradnjo visokokakovostnega obrazloženega nabora podatkov z Zooniverse in pozdravljamo prispevke naše skupnosti.
Naše delo lahko spremljate v tem skladišču Github . Vabimo vas tudi, da preizkusite ta Colab zvezek, kjer lahko sami poizvedujete na Europeana Search API in uporabite multilabel klasifikacijski model. Če imate kakršna koli vprašanja ali ideje, nam pišite na [email protected]!