Vairāku marķējumu klasifikācijas modelis
Kā izpētīts iepriekšējās Pro ziņu publikācijās, Europeana fondā mēs esam vadījuši attēlu klasifikācijas pilotprojektu, apmācot vienotas etiķetes attēlu klasifikācijas modeli, lai bagātinātu mūsu kolekcijas. Mūsu izstrādātais modelis spēja klasificēt attēlus kategorijās no mūsu mērķa vārdnīcas, bet katram attēlam identificēja tikai vienu aspektu (vai “marķējumu”). Tāpēc mēs sākām strādāt pie modeļa apmācības, lai klasificētu attēlu ar vairāk nekā vienu etiķeti, lai vienā attēlā varētu identificēt tādus jēdzienus kā “fotogrāfija” un “skulptūra”.
Lai apmācītu šo multimarķēto attēlu klasifikācijas modeli, mums bija jāapkopo apmācības datu kopa, kas saturēja attēlus ar vairākām etiķetēm to metadatos. Mēs izmantojām Europeana Search API, meklējot objektus, kas indeksēti ar vairāk nekā vienu jēdzienu no mūsu vārdnīcas, kā rezultātā kopā tika iegūti 9000 objekti. Tāpat kā iepriekšējos vienotā marķējuma klasifikācijas centienos, mēs nepārskatījām šo datu kopu, tāpēc marķējumu kvalitāte bija atkarīga no iepriekšējo uzlabojumu kvalitātes.
Multimarķējuma klasifikācijas gadījumā pareizie metadati (vai zemes patiesība) ietvēra vairāk nekā vienu marķējumu katram attēlam. Mēs apmācījām konvolucionālo neironu tīklu, lai klasificētu attēlus un pēc tam izmantotu iegūto modeli objektiem, kas iegūti no meklēšanas API. Tālāk ir redzami daži piemēri ar to prognozēm, ticamības rādītājiem un interpretējamības kartēm.
Mūsu mācības
No mūsu eksperimentiem esam secinājuši, ka modelis spēj pareizi identificēt vairākas atbilstošas etiķetes konkrētajiem attēliem. Vairāku etiķešu pieeja ir noderīgāka nekā atsevišķu etiķešu izmantošana, jo ar augstu ticamības pakāpi katram attēlam var izmantot vairākas etiķetes.
Neskatoties uz interesantajiem rezultātiem, iegūtā modeļa veiktspēja ir tālu no ideāla, un mēs to varam attiecināt uz vairākiem faktoriem. Vissvarīgākais ir savāktās datu kopas salīdzinoši zemā kvalitāte. Mēs konstatējām, ka daudziem izgūtajiem attēliem nav pareizu metadatu.
Turklāt lielāko daļu apmācībā izmantoto datu sniedza Norvēģijas DigitalMuseum. Tas nozīmē, ka apmācības dati neatspoguļo visu datu izplatīšanu Europeana, kā rezultātā modelis ir neobjektīvs attiecībā pret datiem, ar kuriem tas ir apmācīts. Apmācības datu neobjektivitāte izpaudīsies kā vispārinājuma trūkums attiecībā uz pārējiem Europeana attēliem. Vienkārši sakot, modelis labi darbosies ar attēliem, kas ir līdzīgi mācību datu kopā iekļautajiem attēliem, bet tas neizdosies, ja attēli būs pārāk atšķirīgi.
Kopumā mūsu apmācības dati ir pietiekami labi, lai modelis varētu apgūt dažus pamata modeļus. Modelis darbojās labi, neraugoties uz sarežģīto iestatījumu izmantot datus ar nepareiziem marķējumiem. Tomēr iepriekšējo bagātinājumu kvalitāte nav piemērota, lai tos izmantotu kā apmācības datus, lai izveidotu modeli mūsu kolekciju bagātināšanai. Risinājums tam ir izveidot augstākas kvalitātes apmācības datu kopu, lai nodrošinātu, ka mūsu modelim tiek piedāvāti pareizie marķējumi.
Turpmākais darbs: pūļa pakalpojumi
Pēc apmācības un vairāku etiķešu klasifikācijas modeļa novērtēšanas esam secinājuši, ka vairāku etiķešu piešķiršana mūsu kolekcijas attēliem ir piemērotāka nekā to bagātināšana ar vienu etiķeti.
Mēs apsveram iespēju paplašināt vārdnīcu, iekļaujot citus terminus, kas attiecas uz kultūras mantojumu. Vēl svarīgāk ir tas, ka mēs plānojam pārskatīt un paplašināt apmācības datu kopu, lai identificētu un labotu iespējamos aizspriedumus un kļūdas. Mēs vēlamies nodrošināt, ka mūsu modelim ir pareizie marķējumi, un sagaidāms, ka tie būs ievērojami labāki nekā tad, ja tos apmācīs ar "trokšņainiem" marķējumiem. Mēs esam sākuši pūļa pakalpojumu kampaņu, lai izveidotu augstas kvalitātes anotētu datu kopu ar Zooniverse, un mēs atzinīgi vērtējam mūsu kopienas ieguldījumu.
Jūs varat sekot mūsu darbam šajā Github repozitorijā. Aicinām arī eksperimentēt ar šo Colab piezīmju grāmatiņu, kur varat veikt savus vaicājumus Europeana Search API un izmantot daudzmarķējumu klasifikācijas modeli. Jūtieties brīvi sazināties ar mums [email protected], ja jums ir kādi jautājumi vai idejas!