Un model de clasificare multietichetă
După cum s-a explorat în postările anterioare de știri Pro, la Fundația Europeana am desfășurat un pilot de clasificare a imaginilor, antrenând un model de clasificare a imaginilor cu o singură etichetă pentru a ne îmbogăți colecțiile. Modelul pe care l-am dezvoltat a fost în măsură să clasifice imaginile în categorii din vocabularul nostru țintă, dar a identificat doar un singur aspect (sau „etichetă”) al fiecărei imagini. Așa că am început să lucrăm la formarea modelului pentru a clasifica o imagine cu mai multe etichete - astfel încât concepte precum „fotografie” și „sculptură” să poată fi identificate în aceeași imagine.
Pentru a instrui acest model de clasificare a imaginilor cu etichete multiple, a trebuit să adunăm un set de date de antrenament care conținea imagini cu etichete multiple în metadatele lor. Am utilizat API-ul Europeana Search căutând obiecte indexate cu mai multe concepte din vocabularul nostru, rezultând 9 000 de obiecte în total. La fel ca în cazul efortului anterior de clasificare pe o singură etichetă, Curtea nu a examinat acest set de date, astfel încât calitatea etichetelor depindea de calitatea îmbogățirilor anterioare.
În cazul clasificării multietichetate, metadatele corecte (sau adevărul la sol) conțineau mai mult de o etichetă pentru fiecare imagine. Am antrenat o rețea neuronală convoluțională pentru a clasifica imaginile și apoi am folosit modelul rezultat pe obiecte obținute din API-ul de căutare. Puteți vedea câteva exemple cu predicțiile lor, scorurile de încredere și hărțile de interpretabilitate de mai jos.
Învățăturile noastre
Din experimentele noastre am ajuns la concluzia că modelul este capabil să identifice corect mai multe etichete relevante pentru imaginile date. Abordarea multietichetă este mai utilă decât utilizarea etichetelor unice, deoarece poate aplica mai multe etichete fiecărei imagini cu un grad ridicat de încredere.
În ciuda rezultatelor interesante, performanța modelului rezultat este departe de a fi perfectă și putem atribui acest lucru mai multor factori. Cea mai importantă este calitatea relativ scăzută a setului de date colectate. Curtea a constatat că multe dintre imaginile recuperate nu au metadate corecte.
În plus, majoritatea datelor utilizate pentru formare au fost furnizate de Muzeul digital norvegian . Aceasta înseamnă că datele de antrenament nu reflectă întreaga distribuție a datelor la Europeana, ceea ce face ca modelul să fie părtinitor față de datele cu care a fost antrenat. Prejudecățile datelor de formare se vor traduce printr-o lipsă de generalizare pentru restul imaginilor de la Europeana. În termeni simpli, modelul va funcționa bine pe imagini similare cu cele conținute în setul de date de antrenament, dar va eșua dacă imaginile sunt prea diferite.
În general, datele noastre de antrenament sunt suficient de bune pentru ca modelul să învețe câteva modele de bază. Modelul s-a descurcat bine în ciuda setării dificile de utilizare a datelor cu etichete incorecte. Cu toate acestea, calitatea îmbogățirilor anterioare nu este potrivită pentru utilizarea acestora ca date de antrenament pentru construirea unui model care să îmbogățească colecțiile noastre. O soluție în acest sens este de a crea un set de date de instruire de calitate superioară, pentru a ne asigura că modelul nostru este prezentat cu etichetele potrivite.
Lucrări viitoare: crowdsourcing
După instruirea și evaluarea modelului de clasificare multietichetă, am ajuns la concluzia că atribuirea mai multor etichete imaginilor din colecția noastră este mai potrivită decât îmbogățirea acestora cu o singură etichetă.
Avem în vedere extinderea vocabularului prin includerea altor termeni relevanți pentru patrimoniul cultural. Mai important, intenționăm să revizuim și să extindem setul de date de antrenament, cu scopul de a identifica și corecta posibilele prejudecăți și erori. Am dori să ne asigurăm că modelul nostru este prezentat cu etichetele potrivite, care se așteaptă să funcționeze semnificativ mai bine decât atunci când este instruit cu etichete "zgomotoase". Am lansat o campanie de crowdsourcing pentru construirea unui set de date adnotate de înaltă calitate cu Zooniverse și salutăm contribuțiile comunității noastre.
Puteți urmări activitatea noastră în acest depozit Github. De asemenea, vă invităm să experimentați cu acest notebook Colab, unde puteți să vă adresați propriile întrebări API-ului Europeana Search și să aplicați modelul de clasificare multietichetă. Nu ezitați să ne contactați la [email protected] dacă aveți întrebări sau idei!