Το SHIFT είναι ένα έργο που χρηματοδοτείται από το πρόγραμμα «Ορίζων Ευρώπη» της ΕΕ για την ανάπτυξη εξειδικευμένων εργαλειοθηκών προσαρμοσμένων στις διάφορες πτυχές της συμμετοχής στην πολιτιστική κληρονομιά. Το πρώτο που αποκαλύφθηκε είναι το SHIFT Audio Toolkit, το οποίο πρωτοπορεί στη σύνθεση φωνής με τεχνητή νοημοσύνη, στην ομιλία με συναίσθημα, στην πολύγλωσση προσβασιμότητα και στα καθηλωτικά ηχητικά τοπία.
Δημιουργήθηκε από την κοινοπραξία SHIFT με το audEERING να αναλαμβάνει ηγετικό ρόλο, αυτό το Toolkit θα αξιοποιήσει τη δύναμη του text-to-speech (TTS), της αναγνώρισης συναισθημάτων, της μεταγλώττισης βίντεο και της δημιουργίας ηχητικού τοπίου για να δημιουργήσει καθηλωτικές εμπειρίες που ζωντανεύουν την κληρονομιά.
ΜΕΤΑΦΟΡΙΚΑ TTS: ένα συναισθηματικό, πολύγλωσσο σύστημα μετατροπής κειμένου σε ομιλία
Το SHIFT TTS είναι ένα σύστημα μετατροπής κειμένου σε ομιλία (μια τεχνολογία που μπορεί να διαβάσει δυνατά οποιοδήποτε γραπτό κείμενο) το οποίο παράγει υψηλής ποιότητας, συναισθηματικά εκφραστική ομιλία σε πολλές γλώσσες. Σε αντίθεση με τα παραδοσιακά εργαλεία TTS, τα οποία ακούγονται ρομποτικά, το SHIFT TTS ενσωματώνει συναισθηματική σύνθεση ομιλίας - που σημαίνει ότι μπορεί να εκφράσει συναισθήματα όπως ενθουσιασμό, ηρεμία ή επισημότητα με βάση το περιεχόμενο που αφηγείται.
Το εργαλείο SHIFT TTS υποστηρίζει πολλές γλώσσες, όπως Αλβανικά, Ουγγρικά, Ρουμανικά, Σερβικά, Γερμανικά, Ελληνικά και Αγγλικά, με πάνω από 200 συναισθηματικές αγγλικές φωνές με εγγενείς και μη εγγενείς προφορές. Η εργαλειοθήκη λειτουργεί με υπότιτλους ή εισαγωγή απλού κειμένου και προσφέρει εξατομίκευση φωνής, επιτρέποντας στους χρήστες να κλωνοποιούν φωνές για μοναδική και εξατομικευμένη αφήγηση ή να επιλέγουν από τις 200 φωνές που διαθέτει το εργαλείο. Παρακολουθήστε το εργαλείο σε χρήση.
Το εργαλείο TTS μπορεί να ενισχύσει την προσβασιμότητα και τη συμμετοχή του περιεχομένου πολιτιστικής κληρονομιάς, για παράδειγμα, προσθέτοντας πολύγλωσσες, συναισθηματικά πλούσιες αφηγήσεις για να καταστήσει τις εκθέσεις πιο ελκυστικές για διαφορετικά ακροατήρια. Επιπλέον, το εργαλείο παρέχει έναν πόρο για επισκέπτες με προβλήματα όρασης προσφέροντας προσβάσιμο περιεχόμενο με τη μορφή λεπτομερών περιγραφών ήχου. Μπορεί να μετατρέψει ιστορικά έγγραφα σε συναρπαστικές εμπειρίες αφήγησης ήχου, επιτρέποντας στους χρήστες μια συναρπαστική ιστορική εμπειρία.
Μεταγλώττιση βίντεο ή αφήγηση εικόνας σε ομιλία
Τα μουσεία και τα πολιτιστικά ιδρύματα συχνά βασίζονται σε βίντεο για την εκπαίδευση και τη συμμετοχή των επισκεπτών. Ωστόσο, η δημιουργία πολύγλωσσων εκδόσεων ή η αφήγηση σιωπηλών εικόνων μπορεί να είναι δύσκολη. Το σύστημα SHIFT TTS προσφέρει απρόσκοπτη λειτουργικότητα για τη μεταγλώττιση βίντεο και τη δημιουργία αφηγηθέντων βίντεο από εικόνες.
Ένα από τα βασικά χαρακτηριστικά της δυνατότητας μεταγλώττισης βίντεο επιτρέπει στους χρήστες να αντικαταστήσουν την αρχική φωνή σε ένα βίντεο με ομιλία που παράγεται από τεχνητή νοημοσύνη (ακόμη και κλωνοποιώντας τη φωνή ιστορικών μορφών), διατηρώντας προσεκτικά τον συναισθηματικό τόνο του περιεχομένου. Το σύστημα υπερέχει επίσης στη σιωπηλή φωνή εικόνας, μετατρέποντας στατικές εικόνες μέσω περιγραφών κειμένου σε αφηγηματικά βίντεο, καθιστώντας το οπτικό περιεχόμενο πιο προσβάσιμο και ελκυστικό για διαφορετικά ακροατήρια. Βλ. παράδειγμα.
Τα χαρακτηριστικά μεταγλώττισης βίντεο και αφήγησης εικόνας σε ομιλία επιτρέπουν στα μουσεία να δημιουργούν πολύγλωσσες εκδόσεις του περιεχομένου βίντεο τους, διευρύνοντας την προσβασιμότητα για το διεθνές κοινό. Αυτά τα εργαλεία μπορούν να χρησιμοποιηθούν για να προσθέσουν αφήγηση σε έργα τέχνης και ιστορικά αντικείμενα σε ψηφιακά εκθέματα, παρέχοντας πλουσιότερη, πιο συναρπαστική αφήγηση που ενισχύει την εμπειρία του επισκέπτη. Με την ενσωμάτωση εκφωνήσεων που παράγονται από τεχνητή νοημοσύνη, το εργαλείο SHIFT TTS μπορεί να καταστήσει τις διαδικτυακές μουσειακές εμπειρίες πιο διαδραστικές και προσβάσιμες, ιδίως για όσους μπορεί να έχουν προβλήματα όρασης ή να προτιμούν περιεχόμενο με βάση τον ήχο.
Φωνητική κλωνοποίηση για εξατομικευμένη αφήγηση
Ένα από τα πιο καινοτόμα χαρακτηριστικά του SHIFT TTS είναι η ικανότητα κλωνοποίησης φωνής, η οποία επιτρέπει στους χρήστες να αναπαράγουν τη φωνή ενός ομιλητή για αφήγηση. Αυτό το χαρακτηριστικό είναι ιδιαίτερα χρήσιμο για τη διατήρηση των φωνών ιστορικών μορφών ή αφηγητών, προσφέροντας έναν μοναδικό και αυθεντικό τρόπο για να ζωντανέψει η ιστορία.
Οι χρήστες μπορούν να τηλεφορτώσουν ένα σύντομο δείγμα ήχου και το SHIFT TTS θα παράγει ομιλία που μιμείται τη φωνή του ατόμου. Αυτό εξασφαλίζει ότι η κλωνοποιημένη φωνή διατηρεί αυθεντικά συναισθήματα και χαρακτηριστικά ομιλίας, δημιουργώντας μια πιο ρεαλιστική και συναρπαστική εμπειρία. Η λειτουργία κλωνοποίησης φωνής ανοίγει δυνατότητες για εξατομικευμένη αφήγηση, ιδιαίτερα για ιστορικές εκθέσεις, όπου προσωπικότητες όπως ο Andy Warhol ή ο Salvador Dalí θα μπορούσαν να κλωνοποιήσουν τις φωνές τους για να αφηγηθούν τις δικές τους ιστορίες, προσφέροντας μια βαθύτερη σύνδεση με το περιεχόμενο.
Η κλωνοποίηση φωνής επιτρέπει την αναδημιουργία χαμένων ή ελλιπών ιστορικών ηχογραφήσεων, φέρνοντας πίσω στη ζωή τις μακρινές φωνές για να τις βιώσει το κοινό. Οι επιμελητές μουσείων, οι δημιουργοί περιεχομένου και άλλοι μπορούν επίσης να επωφεληθούν από αυτό το χαρακτηριστικό χρησιμοποιώντας τις δικές τους φωνές για αφηγήσεις, εξασφαλίζοντας μια συνεπή και προσωπική αφή σε οδηγούς ήχου, εκθέσεις και άλλους τύπους περιεχομένου.
Ηχοτοπία τεχνητής νοημοσύνης για καθηλωτική αφήγηση
Για να δημιουργήσει πλήρως καθηλωτικές εμπειρίες, το SHIFT έχει δοκιμάσει την ενσωμάτωση του AudioGen, ενός εργαλείου AI που δημιουργεί ρεαλιστικά ηχητικά τοπία από περιγραφές κειμένου. Αυτό το χαρακτηριστικό επιτρέπει την προσθήκη ήχων περιβάλλοντος ή περιβάλλοντος φόντου στις εκθέσεις, εμπλουτίζοντάς τους με εξατομικευμένα ηχητικά τοπία που ταιριάζουν με τη συγκεκριμένη χρονική περίοδο ή ρύθμιση που περιγράφεται στην έκθεση. Οι αρχαίες αγορές, τα πεδία μάχης ή οι ιεροί χώροι μπορούν να ζωντανέψουν με αυθεντικούς ήχους φόντου κατάλληλους για την εποχή, προσθέτοντας ένα αισθητηριακό στρώμα στην αφήγηση που εμβαθύνει τη σύνδεση των επισκεπτών με την ιστορία. Το εργαλείο λειτουργεί σε πολλές γλώσσες, διασφαλίζοντας την προσβασιμότητά του σε διεθνές κοινό και ενισχύοντας τη διαπολιτισμική συμμετοχή. Παρακολουθήστε το σε δράση με την κύρια εικόνα αυτού του κομματιού παρακάτω!
Αυτό το χαρακτηριστικό μπορεί επίσης να αποδειχθεί ιδιαίτερα αποτελεσματικό σε περιηγήσεις μουσείων εικονικής πραγματικότητας (VR) και επαυξημένης πραγματικότητας (AR), όπου ο καθηλωτικός ήχος μπορεί να ενισχύσει σημαντικά την αίσθηση της παρουσίας και του ρεαλισμού. Τα ηχοτοπία μπορούν επίσης να βελτιώσουν την προσβασιμότητα για επισκέπτες με προβλήματα όρασης, προσφέροντας λεπτομερείς ηχητικές περιγραφές ιστορικών ρυθμίσεων και γεγονότων.
Γιατί αυτά τα εργαλεία έχουν σημασία για τους επαγγελματίες της πολιτιστικής κληρονομιάς
Τα μουσεία και τα πολιτιστικά ιδρύματα αναμένεται όλο και περισσότερο να προσελκύουν παγκόσμιο, πολύγλωσσο και ποικιλόμορφο κοινό. Ωστόσο, η δημιουργία καθηλωτικού περιεχομένου απαιτεί χρόνο, πόρους και εμπειρογνωσία που πολλά ιδρύματα δεν διαθέτουν.
Η εργαλειοθήκη ήχου SHIFT υποστηρίζει την προσβασιμότητα παρέχοντας συναρπαστικές ηχητικές περιγραφές για επισκέπτες με προβλήματα όρασης και πολύγλωσση αφήγηση για ένα ευρύ φάσμα ακροατηρίων, διασφαλίζοντας ότι όλοι μπορούν να ασχοληθούν με το περιεχόμενο. Ενισχύει επίσης τη δέσμευση με τη χρήση συναισθηματικού λόγου και ηχητικών τοπίων που βασίζονται στην τεχνητή νοημοσύνη για να βυθίσει το κοινό στην ιστορία και τον πολιτισμό, δημιουργώντας μια μαγευτική εμπειρία.
Μάθετε περισσότερα
Όλα τα εργαλεία του SHIFT Audio Toolkit θα είναι διαθέσιμα κάτω από μία στέγη στην πλατφόρμα SHIFT, η οποία βρίσκεται σε εξέλιξη. Αυτή η πλατφόρμα θα προσφέρει εύκολη πρόσβαση σε όλα τα εργαλεία SHIFT, συμπεριλαμβανομένου του συστήματος Text-to-Speech, της μεταγλώττισης βίντεο, της δημιουργίας ηχητικού τοπίου και άλλων.
Για να ενημερώνεστε για τις τελευταίες εξελίξεις, τα νέα χαρακτηριστικά και την επίσημη έναρξη της πλατφόρμας SHIFT, επισκεφθείτε τον ιστότοπο SHIFT και εγγραφείτε στο ενημερωτικό δελτίο SHIFT για να λαμβάνετε έγκαιρες ενημερώσεις, συμβουλές και ανακοινώσεις απευθείας στα εισερχόμενά σας.
Αυτή η ανάρτηση γράφτηκε από τον Διόνυσο Κουνάδη-Bastian, Senior AI Researcher, audEERING GmbH και τη Μαρία Καγκελίδου, Communications Manager, The Heritage Management Organization.