Ο εμπλουτισμός διαδραματίζει θεμελιώδη ρόλο στις δραστηριότητες της Europeana. Στο πλαίσιο μας, ο εμπλουτισμός μπορεί να οριστεί ως η δημιουργία μεταδεδομένων από τα δεδομένα που παρέχονται από τους συνεργάτες μας, προσθέτοντας επιπλέον αξία στα δεδομένα που λαμβάνουμε. Χρησιμοποιούμε τον συνδυασμό πρωτότυπων και εμπλουτισμένων μεταδεδομένων για την ευρετηρίαση των αρχείων μας και αυτό μας επιτρέπει να δημιουργούμε λειτουργίες που επιτρέπουν στους χρήστες να αναζητούν και να περιηγούνται στις συλλογές μας και να λαμβάνουν συστάσεις. Η επίτευξη αυτόματου εμπλουτισμού με τη χρήση αλγορίθμων μηχανικής μάθησης είναι ένας από τους στόχους της στρατηγικής Europeana 2020-2025, η οποία ενεργοποιεί έργα όπως το Saint George on a Bike.
Η ομάδα R&D της Europeana διερευνά τον τρόπο με τον οποίο οι τεχνικές υπολογιστικής όρασης (συστήματα που μπορούν να κατανοήσουν τα οπτικά δεδομένα) μπορούν να βελτιώσουν τον εμπλουτισμό που διεξάγει η Europeana. Αποφασίσαμε να ξεκινήσουμε ένα πιλοτικό πρόγραμμα ταξινόμησης εικόνων, όπου δημιουργούμε ένα μοντέλο που είναι σε θέση να ταξινομεί εικόνες από ψηφιοποιημένα αντικείμενα πολιτιστικής κληρονομιάς σε ένα σύνολο προκαθορισμένων κατηγοριών. Πιστεύουμε ότι ένα σύστημα εκπαιδευμένο με τις επιλεγμένες κατηγορίες θα αποδειχθεί χρήσιμο για τον εμπλουτισμό των συλλογών μας.
Οι τεχνικές βαθιάς μάθησης, που βασίζονται σε ένα συγκεκριμένο τύπο μαθηματικού μοντέλου που ονομάζεται νευρωνικά δίκτυα, είναι η μέθοδος επιλογής για αυτό το είδος προβλήματος. Για να εκπαιδεύσουμε ένα νευρωνικό δίκτυο, πρέπει να αποκτήσουμε ένα σύνολο δεδομένων εκπαίδευσης που περιέχει μεγάλο αριθμό εικόνων που έχουν ήδη ταξινομηθεί σε επιλεγμένες κατηγορίες. Με απλά λόγια: Αν δείξουμε σε ένα μοντέλο υπολογιστή εικόνες πινάκων ζωγραφικής και πούμε στο μοντέλο ότι όλες αυτές οι εικόνες είναι πίνακες ζωγραφικής, εκπαιδεύουμε αυτό το μοντέλο να αναγνωρίζει αν οι εικόνες που δεν έχει δει ποτέ είναι πίνακας ζωγραφικής ή όχι.
Τα πρώτα βήματα που απαιτούνται για τη δημιουργία του μοντέλου ταξινόμησης εικόνας ήταν η επιλογή λεξιλογίου-στόχου και η συλλογή συνόλου δεδομένων κατάρτισης με τη χρήση του API αναζήτησης της Europeana· Εξερευνήστε πώς το κάναμε αυτό παρακάτω.
Καθορισμός λεξιλογίου για την ταξινόμηση
Τα ελεγχόμενα λεξιλόγια είναι σύνολα προκαθορισμένων και μοναδικά προσδιορισμένων εννοιών, τα οποία μπορούν να χρησιμοποιηθούν για την ευρετηρίαση δεδομένων και τη διαλειτουργικότητά τους. Η χρήση λεξιλογίων στην ανάκτηση πληροφοριών είναι ένας βολικός τρόπος οργάνωσης και αναφοράς της γνώσης.
Στην Europeana, χρησιμοποιούμε έννοιες από λεξιλόγια (ταυτοποιημένα από Uniform Resource Identifiers, URIs) ως μέρος των μεταδεδομένων για την ευρετηρίαση αντικειμένων πολιτιστικής κληρονομιάς. Για το έργο αυτό, εστιάσαμε σε μια επιλογή εννοιών από την Europeana Entity Collection, οι οποίες έχουν αντιστοιχίες με έννοιες από το Getty Art and Architecture Thesaurus (AAT). Το λεξιλόγιο αυτό συγκεντρώθηκε αρχικά για την οργάνωση της προμήθειας περιεχομένου για τις θεματικές μας συλλογές. Περιλάβαμε 20 κατηγορίες όπως φωτογραφίες, πίνακες ζωγραφικής, γλυπτά, ρούχα και κοσμήματα.
Πρόσβαση σε δεδομένα μέσω του API αναζήτησης της Europeana
Μόλις είχαμε το λεξιλόγιό μας, θέλαμε να έχουμε πρόσβαση σε εικόνες που ανήκουν στις διάφορες κατηγορίες για την εκπαίδευση του μοντέλου μας. Το κάναμε αυτό μέσω του Europeana Search API, μιας από τις πολλές διεπαφές που μας επιτρέπουν να ανακτήσουμε αντικείμενα πολιτιστικής κληρονομιάς που εμφανίζονται στο europeana.eu. Δεδομένου ενός ερωτήματος και ενός συνόλου παραμέτρων, το Search API θα επιστρέψει μια αναγνώσιμη από μηχανή απάντηση που θα περιέχει τα μεταδεδομένα των αντικειμένων που προκύπτουν. Η απάντηση API εξυπηρετεί τα δεδομένα σύμφωνα με το μοντέλο δεδομένων της Europeana.
Στο περιβάλλον μας, θεωρήσαμε ότι υπήρχε μόνο μία πιθανή κατηγορία για κάθε εικόνα. Αυτό μας επέτρεψε να συγκεντρώσουμε ένα σχολιασμένο σύνολο δεδομένων ρωτώντας το Search API για εικόνες που αντιστοιχούν στις διαφορετικές έννοιες στο λεξιλόγιό μας και χρησιμοποιώντας αυτή την έννοια ως ετικέτα. Με αυτόν τον τρόπο συναρμολογήσαμε αυτόματα το σύνολο δεδομένων και δεν χρειάστηκε χειροκίνητος σχολιασμός.
Δεδομένου ότι θέλαμε το σύνολο δεδομένων μας να ακολουθεί τις αρχές FAIR (ευρέσιμη, προσβάσιμη, διαλειτουργική και επαναχρησιμοποιήσιμη), εντοπίσαμε με μοναδικό τρόπο τόσο τις έννοιες όσο και τα αντικείμενα πολιτιστικής κληρονομιάς που ανακτήθηκαν και χρησιμοποιήσαμε μόνο περιεχόμενο με ανοικτή άδεια. Τα μεταδεδομένα που εξυπηρετούνται από το API αναζήτησης υπόκεινται σε ανοικτή άδεια, ενώ το περιεχόμενο των αντικειμένων πολιτιστικής κληρονομιάς ενδέχεται να υπόκειται σε δικαιώματα πνευματικής ιδιοκτησίας. Για αυτόν τον πιλότο θεωρήσαμε μόνο εικόνες χωρίς πνευματικά δικαιώματα, ορίζοντας την παράμετρο της δυνατότητας επαναχρησιμοποίησης ως ανοικτή.
Στην περίπτωσή μας, θέλαμε να ανακτήσουμε αντικείμενα ευρετηριασμένα με τις διαφορετικές έννοιες του λεξιλογίου. Αντί να χρησιμοποιήσουμε την αναγνώσιμη από άνθρωπο έκδοση των εννοιών, κάναμε ένα ερώτημα για την έννοια URI απευθείας χρησιμοποιώντας την παράμετρο skos_concept (μία από τις παραμέτρους αναζήτησης του API).
Μας ενδιέφερε να παρακολουθούμε τα αντικείμενα που χρησιμοποιούνται για τη συναρμολόγηση του συνόλου δεδομένων μας. Για κάθε αντικείμενο που ανακτήθηκε αποθηκεύσαμε σχετικές πληροφορίες σε ένα αρχείο CSV. Οι εικόνες θα πρέπει τελικά να μεταφορτωθούν και να αποθηκευτούν σε δίσκο για την εκπαίδευση του μοντέλου ταξινόμησης εικόνας.
Μάθετε περισσότερα
Το σύνολο δεδομένων εκπαίδευσης εικόνας μπορεί τώρα να χρησιμοποιηθεί για τη δημιουργία ενός μοντέλου ταξινόμησης εικόνας που θα εξάγει μία από τις έννοιες του λεξιλογίου που δίνεται σε μια εικόνα εισόδου. Σχεδιάζουμε να συνεχίσουμε το έργο μας αξιολογώντας αν αυτό το σύνολο δεδομένων περιέχει αρκετές πληροφορίες για την εκπαίδευση ενός μοντέλου ταξινόμησης εικόνας και αξιολογώντας αν το προκύπτον μοντέλο είναι κατάλληλο για αυτόματο εμπλουτισμό. Θα μοιραστούμε ενημερώσεις μέσω των ειδήσεων της Europeana Pro!
Ελπίζουμε ότι αυτή η ανάρτηση ενθαρρύνει τους μηχανικούς και τους ερευνητές που ενδιαφέρονται να πειραματιστούν με την πολιτιστική κληρονομιά να χρησιμοποιήσουν το Search API για τη συγκέντρωση συνόλων δεδομένων για μηχανική μάθηση και ειδικότερα να χρησιμοποιήσουν τις συλλογές μας για εκπαίδευση και εφαρμογή αλγορίθμων υπολογιστικής όρασης! Μπορείτε να δείτε το αποθετήριο Github, όπου μπορείτε να βρείτε τα λεξιλόγια που χρησιμοποιούνται, τα σύνολα δεδομένων που συλλέγονται και τον κώδικα για τη συλλογή του συνόλου δεδομένων και την κατάρτιση ενός μοντέλου ταξινόμησης εικόνας. Μην ξεχάσετε να επικοινωνήσετε μαζί μας στη διεύθυνση [email protected] αν έχετε ερωτήσεις, ιδέες ή εμπειρίες να μοιραστείτε!
Αν ενδιαφέρεστε να μάθετε περισσότερα για την τεχνητή νοημοσύνη και την ψηφιακή πολιτιστική κληρονομιά, εξερευνήστε το θέμα της τεχνητής νοημοσύνης στην Europeana Pro.