Daugiaženklis klasifikavimo modelis
Kaip tyrinėta ankstesniuose „Pro“ naujienų pranešimuose, Europeanos fonde vykdome vaizdo klasifikavimo bandomąjį projektą, kuriame mokome vienos etiketės vaizdo klasifikavimo modelį, kad praturtintume savo kolekcijas. Pagal mūsų sukurtą modelį vaizdus buvo galima suskirstyti į kategorijas pagal mūsų tikslinį žodyną, tačiau buvo nustatytas tik vienas kiekvieno vaizdo aspektas (arba „etiketė“). Taigi pradėjome mokyti modelį klasifikuoti vaizdą su daugiau nei viena etikete, kad tame pačiame vaizde būtų galima atpažinti tokias sąvokas kaip „fotografija“ ir „skulptūra“.
Siekdami parengti šį daugiaženklį vaizdų klasifikavimo modelį, turėjome surinkti mokymo duomenų rinkinį, kuriame būtų vaizdų su keliomis etiketėmis jų metaduomenyse. „Europeana Search“ API pasinaudojome ieškodami objektų, kurie mūsų žodyne indeksuojami pagal daugiau nei vieną koncepciją, ir iš viso gavome 9 000 objektų. Kaip ir ankstesnių mūsų pastangų klasifikuoti pagal vieną etiketę atveju, šio duomenų rinkinio neperžiūrėjome, todėl etikečių kokybė priklausė nuo ankstesnių patobulinimų kokybės.
Klasifikuojant pagal kelias etiketes, teisingus metaduomenis (arba pagrindinę tiesą) sudarė daugiau nei viena kiekvieno atvaizdo etiketė. Mes išmokėme konvoliucinį neuroninį tinklą klasifikuoti vaizdus ir tada naudojome gautą modelį objektams, gautiems iš paieškos API. Žemiau galite pamatyti kai kuriuos pavyzdžius su jų prognozėmis, pasitikėjimo balais ir interpretavimo žemėlapiais.
Mūsų mokymai
Iš mūsų eksperimentų padarėme išvadą, kad modelis gali teisingai identifikuoti kelias atitinkamas etiketes nurodytiems vaizdams. Kelių etikečių metodas yra naudingesnis nei atskirų etikečių naudojimas, nes jis gali labai patikimai taikyti kelias etiketes kiekvienam vaizdui.
Despite the interesting results, the performance of the resulting model is far from perfect, and we can attribute this to several factors. Svarbiausia yra palyginti žema surinktų duomenų rinkinio kokybė. Nustatėme, kad daugelyje gautų vaizdų nėra teisingų metaduomenų.
Be to, daugumą mokymui naudotų duomenų pateikė Norvegijos skaitmeninis muziejus. Tai reiškia, kad mokymo duomenys neatspindi viso duomenų pasiskirstymo Europeanoje, todėl modelis yra šališkas duomenų, su kuriais jis buvo apmokytas, atžvilgiu. Dėl mokymo duomenų šališkumo likusių Europeanos vaizdų apibendrinimas bus nepakankamas. Paprastai tariant, modelis gerai veiks vaizduose, panašiuose į tuos, kurie yra mokymo duomenų rinkinyje, tačiau jis nepavyks, jei vaizdai yra per daug skirtingi.
Apskritai, mūsų mokymo duomenys yra pakankamai geri, kad modelis išmoktų kai kuriuos pagrindinius modelius. Modelis veikė gerai, nepaisant to, kad buvo sudėtinga naudoti duomenis su neteisingomis etiketėmis. Tačiau ankstesnių praturtėjimų kokybė nėra tinkama naudoti juos kaip mokymo duomenis kuriant modelį, kuris praturtintų mūsų kolekcijas. Sprendimas yra sukurti aukštesnės kokybės mokymo duomenų rinkinį, siekiant užtikrinti, kad mūsų modelis būtų pateiktas su tinkamais ženklais.
Tolesnis darbas: visuomenės patalka
Po mokymų ir kelių etikečių klasifikavimo modelio įvertinimo padarėme išvadą, kad kelių etikečių priskyrimas mūsų kolekcijos vaizdams yra tinkamesnis nei jų praturtinimas viena etikete.
Svarstome galimybę išplėsti žodyną įtraukiant kitus su kultūros paveldu susijusius terminus. Dar svarbiau tai, kad planuojame peržiūrėti ir išplėsti mokymo duomenų rinkinį, siekdami nustatyti ir ištaisyti galimus šališkumus ir klaidas. Norėtume užtikrinti, kad mūsų modelis būtų pateikiamas su tinkamomis etiketėmis, kurios, kaip tikimasi, bus daug veiksmingesnės nei mokant su "triukšmingomis" etiketėmis. Mes pradėjome visuomenės patalkos kampaniją, siekdami sukurti aukštos kokybės anotuotų duomenų rinkinį su "Zooniverse", ir mes sveikiname mūsų bendruomenės indėlį.
Mūsų darbą galite sekti šioje „Github“ saugykloje. Taip pat kviečiame eksperimentuoti su šiuo „Colab“ bloknotu, kuriame galite pateikti savo užklausas „Europeana Search“ API ir taikyti daugiaženklį klasifikavimo modelį. Jei turite klausimų ar idėjų, susisiekite su mumis adresu [email protected]!