Μοντέλο ταξινόμησης πολλαπλών σημάτων
Όπως έχει διερευνηθεί σε προηγούμενες δημοσιεύσεις ειδήσεων Pro , στο Ίδρυμα Europeana εφαρμόζουμε ένα πιλοτικό πρόγραμμα ταξινόμησης εικόνας, εκπαιδεύοντας ένα μοντέλο ταξινόμησης εικόνας ενιαίας ετικέτας για τον εμπλουτισμό των συλλογών μας. Το μοντέλο που αναπτύξαμε ήταν σε θέση να ταξινομήσει τις εικόνες σε κατηγορίες από το λεξιλόγιο-στόχο μας, αλλά προσδιόρισε μόνο μία πτυχή (ή «ετικέτα») κάθε εικόνας. Στη συνέχεια, αρχίσαμε να εργαζόμαστε για την κατάρτιση του μοντέλου ώστε να ταξινομεί μια εικόνα με περισσότερες από μία ετικέτες —έτσι ώστε έννοιες όπως «φωτογραφία» και «γλυπτική» να μπορούν να ταυτοποιηθούν στην ίδια εικόνα.
Για να εκπαιδεύσουμε αυτό το μοντέλο ταξινόμησης εικόνας πολλαπλών ετικετών, έπρεπε να συγκεντρώσουμε ένα εκπαιδευτικό σύνολο δεδομένων που περιέχει εικόνες με πολλαπλές ετικέτες στα μεταδεδομένα τους. Κάναμε χρήση του Europeana Search API αναζητώντας αντικείμενα ευρετηριασμένα με περισσότερες από μία έννοιες από το λεξιλόγιό μας, με αποτέλεσμα συνολικά 9.000 αντικείμενα. Όπως και στην προηγούμενη προσπάθεια ταξινόμησης μιας ετικέτας, δεν επανεξετάσαμε αυτό το σύνολο δεδομένων και, ως εκ τούτου, η ποιότητα των ετικετών εξαρτιόταν από την ποιότητα των προηγούμενων εμπλουτισμών.
Στην περίπτωση της ταξινόμησης πολλαπλών ετικετών, τα σωστά μεταδεδομένα (ή η βασική αλήθεια) περιείχαν περισσότερες από μία ετικέτες για κάθε εικόνα. Εκπαιδεύσαμε ένα συνελικτικό νευρωνικό δίκτυο για να ταξινομήσουμε τις εικόνες και στη συνέχεια χρησιμοποιήσαμε το προκύπτον μοντέλο σε αντικείμενα που ελήφθησαν από το Search API. Μπορείτε να δείτε μερικά από τα παραδείγματα με τις προβλέψεις τους, τις βαθμολογίες εμπιστοσύνης και τους χάρτες ερμηνευσιμότητας παρακάτω.
Τα μαθήματά μας
Από τα πειράματά μας καταλήξαμε στο συμπέρασμα ότι το μοντέλο είναι σε θέση να εντοπίσει σωστά πολλαπλές σχετικές ετικέτες για τις δεδομένες εικόνες. Η προσέγγιση πολλαπλών ετικετών είναι πιο χρήσιμη από τη χρήση μεμονωμένων ετικετών, καθώς μπορεί να εφαρμόσει πολλές ετικέτες σε κάθε εικόνα με μεγάλη εμπιστοσύνη.
Παρά τα ενδιαφέροντα αποτελέσματα, η απόδοση του μοντέλου που προκύπτει δεν είναι τέλεια και μπορούμε να το αποδώσουμε σε διάφορους παράγοντες. Το σημαντικότερο είναι η σχετικά χαμηλή ποιότητα του συνόλου δεδομένων που συγκεντρώνεται. Διαπιστώσαμε ότι πολλές από τις εικόνες που ανακτήθηκαν δεν διαθέτουν ορθά μεταδεδομένα.
Επιπλέον, τα περισσότερα από τα δεδομένα που χρησιμοποιήθηκαν για την κατάρτιση παρασχέθηκαν από το νορβηγικό ψηφιακό μουσείο. Αυτό σημαίνει ότι τα δεδομένα κατάρτισης δεν αντικατοπτρίζουν ολόκληρη την κατανομή δεδομένων στην Europeana, με αποτέλεσμα το μοντέλο να είναι μεροληπτικό έναντι των δεδομένων με τα οποία έχει εκπαιδευτεί. Οι προκαταλήψεις των δεδομένων κατάρτισης θα μεταφραστούν σε έλλειψη γενίκευσης για τις υπόλοιπες εικόνες από την Europeana. Με απλά λόγια, το μοντέλο θα αποδώσει καλά σε εικόνες παρόμοιες με αυτές που περιέχονται στο σύνολο δεδομένων εκπαίδευσης, αλλά θα αποτύχει εάν οι εικόνες είναι πολύ διαφορετικές.
Σε γενικές γραμμές, τα δεδομένα της εκπαίδευσής μας είναι αρκετά καλά ώστε το μοντέλο να μάθει κάποια βασικά μοτίβα. Το μοντέλο τα πήγε καλά παρά τη δύσκολη ρύθμιση της χρήσης δεδομένων με λανθασμένες ετικέτες. Ωστόσο, η ποιότητα των προηγούμενων εμπλουτισμών δεν είναι κατάλληλη για τη χρήση τους ως δεδομένα κατάρτισης για την οικοδόμηση ενός μοντέλου για τον εμπλουτισμό των συλλογών μας. Μια λύση σε αυτό είναι να δημιουργηθεί ένα σύνολο δεδομένων κατάρτισης υψηλότερης ποιότητας, ώστε να διασφαλιστεί ότι το μοντέλο μας παρουσιάζεται με τις σωστές ετικέτες.
Μελλοντικές εργασίες: πληθοπορισμός
Μετά την εκπαίδευση και την αξιολόγηση του μοντέλου ταξινόμησης πολλαπλών ετικετών, καταλήξαμε στο συμπέρασμα ότι η ανάθεση πολλαπλών ετικετών στις εικόνες από τη συλλογή μας είναι πιο κατάλληλη από τον εμπλουτισμό τους με μια ενιαία ετικέτα.
Εξετάζουμε το ενδεχόμενο επέκτασης του λεξιλογίου με τη συμπερίληψη άλλων όρων σχετικών με την πολιτιστική κληρονομιά. Το πιο σημαντικό, σχεδιάζουμε να επανεξετάσουμε και να επεκτείνουμε το σύνολο δεδομένων κατάρτισης, με στόχο τον εντοπισμό και τη διόρθωση πιθανών προκαταλήψεων και σφαλμάτων. Θα θέλαμε να διασφαλίσουμε ότι το μοντέλο μας παρουσιάζεται με τις σωστές ετικέτες, οι οποίες αναμένεται να αποδώσουν σημαντικά καλύτερα από ό, τι όταν εκπαιδεύονται με «θορυβώδεις» ετικέτες. Έχουμε ξεκινήσει μια εκστρατεία πληθοπορισμού για την οικοδόμηση ενός υψηλής ποιότητας σχολιασμένου συνόλου δεδομένων με το Zooniverse και χαιρετίζουμε τις συνεισφορές από την κοινότητά μας.
Μπορείτε να παρακολουθήσετε τις εργασίες μας σε αυτό το αποθετήριο Github. Σας προσκαλούμε επίσης να πειραματιστείτε με αυτό το σημειωματάριο Colab, όπου μπορείτε να κάνετε τα δικά σας ερωτήματα στο API αναζήτησης της Europeana και να εφαρμόσετε το μοντέλο ταξινόμησης πολλαπλών ετικετών. Μη διστάσετε να επικοινωνήσετε μαζί μας στο [email protected] αν έχετε οποιεσδήποτε ερωτήσεις ή ιδέες!